Microsoft Fara1.5: i nuovi agenti AI per il web che sfidano Google e OpenAI

Il laboratorio AI Frontiers di Microsoft Research ha recentemente presentato Fara1.5, una nuova famiglia di agenti per l'uso del computer (Computer-Use Agents, CUA) ottimizzati per la navigazione web, che stabiliscono nuovi standard di efficienza superando soluzioni di giganti come OpenAI e Google.

I modelli Fara1.5 rappresentano l'ultima frontiera dei sistemi "pixel-to-action", capaci di pilotare un browser reale leggendo gli screenshot ed emettendo comandi per mouse e tastiera. Questa release si declina in tre diverse dimensioni: Fara1.5-4B, Fara1.5-9B e Fara1.5-27B, tutti integrati con MagenticLite, l'interfaccia browser sandboxed di Microsoft progettata per questi agenti.

Architettura e Loop dell'Agente

Basati sui checkpoint di Qwen3.5, i modelli operano attraverso un ciclo continuo di osservazione-pensiero-azione. In ogni fase, il modello analizza la cronologia della conversazione precedente e i tre screenshot più recenti del browser per generare una riflessione interna (thought) e un'azione successiva.

Lo spazio d'azione non si limita ai soli input fisici (clic, digitazione), ma include azioni specifiche per il web, come la ricerca, e "meta-azioni" per la gestione del contesto. Queste ultime permettono all'agente di memorizzare fatti per un uso futuro o di porre domande di chiarimento all'utente, facilitando operazioni su orizzonti temporali lunghi e la collaborazione uomo-macchina.

Mix di Addestramento e Fine-Tuning

L'addestramento di Fara1.5 si basa su circa due milioni di campioni sottoposti a fine-tuning supervisionato (SFT). La composizione del dataset è estremamente variegata:

• 60% traiettorie di navigazione web reali.
• 12.8% ambienti sintetici.
• 12.5% compilazione di moduli e interazioni utente.
• 8.8% grounding (collegamento tra testo e coordinate visuali).
• 4.9% Visual Question Answering (VQA).

Un aspetto tecnico rilevante riguarda l'applicazione della perdita (loss), che viene calcolata solo sugli ultimi tre passaggi di ogni traiettoria, ottimizzando l'apprendimento delle sequenze decisionali immediate.

FaraGen1.5: La Pipeline per i Dati Sintetici

Il cuore pulsante dell'addestramento è FaraGen1.5, una pipeline modulare composta da ambienti, risolutori e verificatori. Microsoft ha suddiviso i compiti in due tipologie:

1. Open-internet: Task su siti web live che non richiedono login.
2. Gated-domain: Compiti che necessitano di sessioni autenticate o comportano azioni irreversibili (es. invio di email).

Per i domini protetti, il team ha creato FaraEnvs, sei cloni sintetici (Mail, Calendar, Stream, ML, Stay, Scheduler) dotati di frontend realistico, API funzionanti e database popolati con dati persona-based. Grazie al controllo totale dello stack, Microsoft può verificare l'esito di ogni operazione confrontando gli snapshot del database prima e dopo l'esecuzione dell'agente.

Gestione delle Azioni Critiche e Sicurezza

La sicurezza è integrata direttamente nel comportamento del modello. Fara1.5 è addestrato per interrompersi e consultare l'utente in tre scenari specifici:

• Quando il compito richiede informazioni personali non ancora fornite.
• Se la descrizione del task è ambigua o mancano dettagli operativi.
• Prima di eseguire un'azione irreversibile che richiede approvazione esplicita.

All'interno di MagenticLite, tutte le azioni sono loggate e verificabili, creando un confine di sicurezza (sandbox) tra l'agente e la macchina dell'utente.

Analisi dei Benchmark e Prestazioni

I risultati ottenuti su Online-Mind2Web (300 task su 136 siti popolari) vedono Fara1.5-27B dominare la classifica:

Anche su altri benchmark come WebVoyager, il modello da 27B raggiunge l'88.6%, mentre la versione da 9B (86.6%) supera concorrenti di dimensioni simili come MolmoWeb 8B e GUI-Owl-1.5. Su WebTailBench v1.5, focalizzato su compiti web meno comuni, il modello 9B ha ottenuto un successo del processo del 64.5%, confrontandosi con il 79.6% di GPT-5.4.