Un modello di intelligenza artificiale che fa clic, scrive e naviga sul desktop al posto tuo non è più una demo futuristica da laboratorio: Google ha integrato nativamente il controllo del PC all'interno di Gemini 3.5 Flash. Questa mossa sposta l'automazione software verso la nuova era degli agenti autonomi, pronti a operare su browser, mobile e desktop con la velocità e l'efficienza di un modello ultra-leggero.
La svolta di Google: il controllo del PC diventa nativo
Ieri, 24 giugno 2026, Mateo Quiros (Product Manager di Google DeepMind) ha annunciato una novità destinata a ridefinire lo sviluppo software: la funzionalità di computer use (letteralmente "uso del computer") è ora uno strumento nativo integrato in Gemini 3.5 Flash. Fino ad oggi, gli sviluppatori che desideravano creare agenti in grado di controllare lo schermo dovevano affidarsi al modello specialistico stand-alone Gemini 2.5 computer use. Con questa integrazione, l'intera pipeline di visione, ragionamento e azione viene eseguita direttamente dal modello Flash standard.
Questo significa che Gemini, già ampiamente utilizzato per il function calling (la capacità di richiamare funzioni di codice esterne) e per la connessione in tempo reale a Google Search o Google Maps, ora può agire come un vero e proprio operatore umano virtuale. Gli sviluppatori possono sfruttare le API per costruire agenti in grado di vedere cosa succede sullo schermo, pianificare i passaggi logici necessari e simulare l'uso di mouse e tastiera in qualsiasi ambiente software.
Prestazioni a confronto: il benchmark OSWorld
Per misurare l'efficacia di un agente AI nell'interazione con un sistema operativo reale, la comunità scientifica utilizza il benchmark OSWorld. Questo test mette alla prova i modelli su flussi di lavoro complessi e "a lungo raggio" (long-horizon tasks), che richiedono decine di passaggi consecutivi all'interno di sistemi desktop standard (come l'installazione di software, la gestione di fogli di calcolo o il trasferimento di dati tra applicazioni diverse).
I risultati ottenuti mostrano un netto incremento di affidabilità, rendendo Gemini 3.5 Flash uno dei motori più competitivi per l'automazione aziendale. A differenza dei sistemi di automazione tradizionali (RPA - Robotic Process Automation), l'approccio basato sul computer use non richiede la scrittura di regole rigide o il tracciamento dei selettori HTML di una pagina web: l'AI "guarda" lo schermo esattamente come farebbe un utente umano, adattandosi istantaneamente se un pulsante cambia colore o viene spostato di posizione.
Caratteristica | RPA Tradizionale | Gemini 3.5 Flash (Computer Use) |
|---|---|---|
Adattabilità al layout | Si rompe se l'interfaccia grafica subisce modifiche minimi. | Si adatta autonomamente grazie alla comprensione visiva dello schermo. |
Integrazione applicativa | Richiede script specifici o API dedicate per ogni software. | Interagisce direttamente tramite interfaccia grafica su browser, desktop e mobile. |
Gestione degli imprevisti | Richiede la programmazione preventiva di ogni scenario di errore. | Risolve problemi logici in tempo reale ri-pianificando le azioni. |
Casi d'uso pratici: dal testing all'accessibilità
L'integrazione di questa tecnologia sblocca scenari di automazione applicata che fino a poco tempo fa richiedevano ore di lavoro manuale. Google ha mostrato due scenari concreti di utilizzo del modello:
Analisi ed estrazione dati dalle applicazioni: Gemini 3.5 Flash è in grado di navigare in un'applicazione complessa (come l'app Gemini stessa), analizzarne le sezioni e restituire un elenco categorizzato di funzionalità senza alcun input strutturato a monte.
Audit di accessibilità automatizzati: Il modello può scorrere intere pagine di documentazione tecnica per verificare la conformità agli standard di accessibilità web, individuando bug visivi, problemi di contrasto o barriere di navigazione per utenti con disabilità.
Queste capacità sono particolarmente preziose per le imprese che devono eseguire continuativamente test del software (continuous software testing) o gestire enormi volumi di lavoro amministrativo su applicazioni professionali non dotate di API pubbliche.
Sicurezza e Prompt Injection: la strategia di Google
Lasciare che un'intelligenza artificiale controlli autonomamente mouse e tastiera espone i sistemi a gravi rischi di sicurezza. Il pericolo principale è rappresentato dalle prompt injection indirette: un attacco informatico in cui un testo malevolo, nascosto ad esempio all'interno di una pagina web visitata dall'agente, riesce a sovrascrivere le istruzioni di sistema originarie, spingendo l'AI a compiere azioni dannose (come eliminare file o inviare dati riservati).
Per mitigare questi rischi, Google ha implementato due difese principali su Gemini 3.5 Flash:
Addestramento avversario mirato (Targeted Adversarial Training): Il modello è stato addestrato per riconoscere e ignorare i tentativi di manipolazione nascosti nei testi visibili sullo schermo.
Sistemi di salvaguardia aziendali (Enterprise Safeguards): Gli sviluppatori possono attivare l'arresto automatico delle attività se viene identificata una potenziale injection o forzare la richiesta di una conferma esplicita da parte di un supervisore umano (human-in-the-loop) prima di eseguire azioni sensibili o irreversibili.
Come testare e sviluppare con Gemini 3.5 Flash oggi
Per chi vuole toccare con mano le potenzialità della tecnologia, le risorse sono già attive:
Demo Web Gratuita: È possibile testare il controllo del browser in tempo reale all'interno di un ambiente sicuro e isolato (sandbox) ospitato da Browserbase su gemini.browserbase.com.
Reference Implementation: Google ha rilasciato un modello di implementazione di riferimento su GitHub alla repository computer-use-preview per accelerare lo sviluppo.
Accesso Cloud: La funzionalità è disponibile tramite le API ufficiali di Gemini e sulla piattaforma aziendale Gemini Enterprise Agent Platform.
Un passo da gigante per gli agenti autonomi
L'integrazione di 'computer use' all'interno di un modello ultra-rapido ed economico come Gemini 3.5 Flash democratizza lo sviluppo di agenti capaci di usare il PC come un essere umano. Nonostante i rischi intrinseci legati alla sicurezza delle prompt injection, le nuove misure preventive rendono questo strumento il punto di riferimento attuale per l'automazione di livello enterprise.