Ollama 0.31 e Gemma 4: +90% di velocità su Apple Silicon

Chiunque utilizzi agenti di programmazione locali su chip Apple Silicon sa quanto la latenza possa spezzare il flusso di lavoro. Con il rilascio di Ollama 0.31, il modello Gemma 4 riceve un'accelerazione straordinaria, generando token (le unità fondamentali di testo elaborate dall'AI) con una velocità superiore del 90% nei benchmark reali di scrittura del codice, grazie all'integrazione nativa del Multi-Token Prediction (MTP).

Come la predizione multi-token accelera la generazione

La straordinaria spinta prestazionale introdotta in Ollama 0.31 non è frutto di una compressione distruttiva del modello, e non altera in alcun modo l'accuratezza o la qualità dell'output finale. Il segreto risiede nell'implementazione del Multi-Token Prediction (MTP), una variante della cosiddetta decodifica speculativa (speculative decoding).

Questo approccio affianca a Gemma 4 un secondo modello "bozza" (draft model) estremamente piccolo e veloce. Durante l'elaborazione, questo modello leggero ipotizza la sequenza dei token successivi. Subito dopo, il modello principale verifica l'intera sequenza proposta in un unico passaggio computazionale sulla GPU, convalidando i token corretti ed eliminando quelli errati. Poiché il modello bozza richiede solo una frazione minima delle risorse di Gemma 4, proporre più token costa pochissimo: quando l'intuizione è esatta, l'AI scrive più token al costo di uno solo.

La triade tecnologica dietro il miracolo di Ollama

Garantire che questo processo avvenga in modo affidabile e senza colli di bottiglia è una sfida ingegneristica complessa. Il guadagno prestazionale effettivo è legato a tre innovazioni strutturali introdotte dagli sviluppatori del progetto.

1. Auto-tuning dinamico della lunghezza della bozza

Non esiste una lunghezza fissa ideale per la sequenza di token da ipotizzare. Il numero perfetto varia costantemente in base al modello, al tipo di quantizzazione (la tecnica di compressione matematica dei pesi del modello), all'hardware in uso e alla complessità del testo generato in quel preciso istante. Proporre troppi token costringe l'AI a sprecare tempo prezioso per verificare e scartare ipotesi errate, rendendo l'MTP persino più lento della decodifica classica a singolo token.

Ollama risolve il problema calcolando la lunghezza ottimale a tempo di esecuzione (runtime). Monitorando costantemente il tasso di accettazione delle proposte e i tempi dei passaggi di verifica, il motore adatta la lunghezza della bozza in tempo reale. Se il testo diventa imprevedibile e le proposte iniziano a fallire, il sistema disattiva temporaneamente l'MTP tornando alla decodifica standard, azzerando qualsiasi potenziale rallentamento.

2. Decodifica speculativa integrata nel motore grafico

Ogni ciclo di generazione inizia sul modello bozza, che predice un token, lo reinserisce nel contesto per prevedere il successivo e crea così una micro-sequenza. Successivamente, il modello principale esegue la verifica in un unico blocco.

Tutta questa complessa trafila di operazioni (generazione della bozza, campionamento dei risultati, verifica e correzione) avviene interamente all'interno della GPU in un unico passaggio, senza costringere il sistema a scambiare dati con la CPU. Se un token viene rifiutato, l'engine applica un rollback istantaneo ripristinando lo stato di memoria (cache KV) esattamente al punto dell'ultimo token corretto, senza dover ricalcolare gli elementi precedenti.

3. Un nuovo kernel ottimizzato per MLX

La parte più onerosa del processo non è la creazione della bozza, bensì la verifica da parte del modello principale, che deve analizzare batch (gruppi) insoliti composti da 2 a 8 token. Storicamente, i kernel GPU (i programmi scritti per eseguire i calcoli sulla scheda grafica) sono ottimizzati o per un singolo token (fase di decoding) o per sequenze lunghissime (fase di prefill).

Gli sviluppatori di Ollama hanno scritto e integrato direttamente nella libreria MLX di Apple un kernel specifico per questo scenario intermedio. Il nuovo codice legge ed estrae i pesi del modello dalla memoria una sola volta, riutilizzandoli per l'intero batch di verifica anziché ricaricarli per ogni singolo token della bozza. Su un chip M5 Max con modello quantizzato in formato nvfp4 (a 4 bit), le moltiplicazioni di matrici più grandi di Gemma 4 risultano da 2 a 2,5 volte più veloci.

Come configurare e avviare Gemma 4 accelerata su Mac

La nuova architettura prestazionale è già disponibile e pronta all'uso. Segui questi passi per configurare il tuo ambiente locale:

Per avviare l'agente integrato direttamente da terminale, digita il seguente comando:

bashCopia
ollama launch claude --model gemma4:12b-mlx

Il team di Ollama ha confermato che Gemma 4 è solo il primo di una serie di modelli che riceveranno questo trattamento di ottimizzazione speculativa su chip Apple Silicon nei prossimi mesi.

La nostra valutazione: perché l'MTP locale è il vero punto di svolta

L'aggiornamento introdotto da Ollama dimostra che la rincorsa a chip sempre più potenti non è l'unica via per rendere l'intelligenza artificiale locale davvero usabile. L'ottimizzazione algoritmica a basso livello e l'introduzione di architetture intelligenti come la decodifica speculativa possono sbloccare riserve di potenza enormi anche sull'hardware già presente sulle nostre scrivanie.

L'MTP applicato alla programmazione risolve il più grande limite degli agenti AI locali: la lentezza frustrante nei cicli di lettura, modifica e test del codice. Abbattendo i tempi di risposta quasi della metà, la transizione tra sviluppatore umano e assistente locale diventa finalmente fluida, riducendo la necessità di affidarsi ad API cloud costose e problematiche sotto il profilo della privacy dei dati.