Google ha annunciato il supporto nativo di LiteRT-LM per i "drafter" Multi-Token Prediction (MTP) di Gemma 4. Questa integrazione consente di accelerare l'inferenza locale sui dispositivi mobili e desktop fino a 2,2 volte. Il framework espande inoltre la propria compatibilità introducendo nuove API per Swift e JavaScript, affiancando i già presenti linguaggi Kotlin e C++.
Cos'è LiteRT-LM e come ottimizza i modelli on-device
LiteRT-LM è uno strato di orchestrazione specializzato, sviluppato sopra LiteRT (precedentemente noto come TensorFlow Lite). È progettato specificamente per gestire i modelli linguistici di grandi dimensioni (LLM, Large Language Models) direttamente sui dispositivi degli utenti finali (on-device), garantendo elevate prestazioni su piattaforme Android, iOS e web. L'inferenza è l'esecuzione attiva di un modello di intelligenza artificiale per generare risposte basate su nuovi dati di input.
La base tecnologica di LiteRT-LM consente di gestire i limiti hardware tipici dei dispositivi mobili, come la memoria RAM ridotta, la potenza di calcolo limitata e la frammentazione dei chip. Per farlo, sfrutta schemi avanzati di quantizzazione (la riduzione della precisione numerica dei parametri del modello per risparmiare risorse) e kernel accelerati come XNNPACK e MLDrift, librerie software ottimizzate per l'esecuzione rapida di operazioni matematiche su CPU e GPU.
A livello di orchestrazione, il framework impiega pipeline ottimizzate per ridurre al minimo i costosi trasferimenti di dati tra CPU e GPU, supporta la predizione multi-token e include una gestione avanzata delle sessioni. Questa combinazione lo rende, secondo Google, l'ambiente di runtime più performante per l'esecuzione locale dei modelli Gemma.
Come funziona la decodifica speculativa con MTP
Il Multi-Token Prediction (MTP) è una tecnica introdotta con la famiglia di modelli Gemma 4 che consente la generazione simultanea di più token (le unità di testo elaborate dai modelli), riducendo i passaggi sequenziali tradizionali. LiteRT-LM implementa questa tecnica attraverso la decodifica speculativa, ottimizzando lo scambio di dati tra il modello principale Gemma 4 e il modello secondario più leggero (denominato "drafter" o redattore).
Per superare i colli di bottiglia tipici di questo approccio, LiteRT-LM impone la "località della memoria": esegue sia il leggero modello drafter che il modello primario sullo stesso componente hardware, tipicamente la GPU. La gestione della KV cache (la memoria temporanea che contiene i calcoli dei token passati) e delle attivazioni all'interno della memoria locale elimina i ritardi di sincronizzazione tra diversi processori.
Una volta che il drafter ha predetto i token futuri, il modello principale li valuta utilizzando kernel ottimizzati che massimizzano la parallelizzazione durante la fase di verifica.
Prestazioni ed efficienza della memoria nei benchmark
Secondo i test prestazionali effettuati da Google, la decodifica MTP su LiteRT-LM risulta 1,6 volte più veloce per il modello Gemma 4 E2B e fino a 2,2 volte più veloce per il modello Gemma 4 E4B. Inoltre, sia la fase di prefill (l'elaborazione iniziale del prompt di input) che quella di decode (la generazione effettiva della risposta) registrano velocità da 1,8 a 3,7 volte superiori rispetto a framework concorrenti come llama.cpp, MLX, Cactus e ONNX.
Metrica / Scenario | LiteRT-LM (Gemma 4 MTP) | Framework Concorrenti (llama.cpp, MLX, ONNX) |
|---|---|---|
Fattore di accelerazione generale | Fino a 2,2x più veloce | 1,0x (Riferimento) |
Fase di Prefill e Decode | Da 1,8x a 3,7x più rapido | Standard del settore |
Impronta RAM (Modello Gemma 4 E2B da 2,58 GB) | ~607 MB su CPU Apple Silicon | Significativamente superiore |
L'efficienza della memoria è un pilastro centrale di LiteRT-LM. Il runtime riduce al minimo l'impronta complessiva mantenendo gli embedding (le rappresentazioni vettoriali delle parole) di ciascun livello fuori dalla memoria attiva, caricando dinamicamente gli encoder audio e video solo quando richiesto dal contesto. Di conseguenza, il modello Gemma 4 E2B da circa 2,58 GB richiede solo 607 MB di RAM quando viene eseguito sulle CPU mobile di Apple.
Funzionalità avanzate per agenti IA e nuove API
Il sistema integra nativamente il supporto per comportamenti agentici avanzati:
Thinking Mode di Gemma 4: supporta l'esecuzione di passaggi logici intermedi prima di restituire l'output finale all'utente.
Decodifica vincolata (Constrained Decoding): garantisce la generazione strutturata di dati in formati specifici (come JSON), riducendo gli errori di interpretazione software.
Chiamata di funzioni (Function-calling): consente al runtime di sospendere temporaneamente l'esecuzione del modello per restituire una richiesta strutturata a uno strumento esterno, riprendendo l'elaborazione una volta ricevuto il risultato.
Inoltre, la gestione della sessione in LiteRT-LM è una funzionalità integrata di prima classe. È in grado di salvare e ripristinare lo stato della KV cache, consentendo la prosecuzione di interazioni lunghe ed evitando di dover ricalcolare i dati delle conversazioni passate ad ogni nuovo inserimento.
LiteRT-LM è disponibile su GitHub ed è corredato da un'interfaccia a riga di comando (CLI) per la sperimentazione in ambiente desktop, oltre a un'applicazione mobile di esempio all'interno della galleria di progetti Google AI Edge.
Disponibilità e risorse di sviluppo
Il progetto è attivamente sviluppato da Google all'interno dell'ecosistema AI Edge. Gli sviluppatori possono testare le capacità di LiteRT-LM localmente tramite i repository ufficiali e l'applicazione di prova, integrando funzionalità avanzate di generazione di testo direttamente all'interno di applicazioni native per smartphone e web app moderne.