Ricercatori dell'Università di Stanford e di Lambda Labs hanno presentato OpenJarvis, un framework open source progettato per eseguire inferenza, agenti, memoria e apprendimento interamente sul dispositivo dell'utente, sfidando il dominio dei modelli basati su cloud.
Un framework per l'AI "Local-First"
OpenJarvis non è un semplice modello linguistico, ma un ecosistema che permette di comporre modelli locali con uno stack di agenti configurabili. I dati pubblicati il 16 maggio 2026 mostrano che le configurazioni OpenJarvis si avvicinano drasticamente alle prestazioni dei modelli cloud di frontiera, riducendo drasticamente i costi e la latenza.
Questo progetto si basa sullo studio Intelligence Per Watt del team di ricerca, il quale ha rilevato che i modelli locali sono già in grado di gestire l'88,7% delle query di chat e ragionamento a turno singolo con una latenza interattiva. L'efficienza dell'intelligenza locale è migliorata di 5,3 volte tra il 2023 e il 2025.
| Proprietà | Valore |
|---|---|
| Licenza | Apache 2.0 |
| Data di rilascio | 12 marzo 2026 |
| Repository | github.com/open-jarvis/OpenJarvis |
| Linguaggi | Python (~83%), Rust (~9%), TypeScript (~7%) |
| Modelli Valutati | Qwen3.5, Gemma4, Nemotron, Granite (11 modelli totali) |
| Motori Supportati | Ollama, vLLM, SGLang, llama.cpp, Apple Foundation Models, Exo |
| Hardware Testato | Dal Mac Mini M4 all'NVIDIA DGX Spark |
L'architettura: Cinque Primitive e una Specifica
Il sistema OpenJarvis scompone l'intelligenza artificiale personale in cinque elementi fondamentali, chiamati "primitive", coordinati da un unico oggetto di configurazione dichiarativa denominato spec (specifica), serializzato in formato TOML.
- Intelligenza: definisce il modello, i pesi, i parametri di generazione e il formato di quantizzazione (una tecnica per ridurre la dimensione del modello diminuendo la precisione dei pesi numerici, permettendone l'esecuzione su hardware meno potente).
- Motore (Engine): il runtime di inferenza (come Ollama o vLLM), le impostazioni della cache KV e il percorso hardware.
- Agenti: il ciclo di ragionamento (ReAct o CodeAct), i prompt di sistema e le policy per l'uso degli strumenti.
- Strumenti e Memoria: interfacce esterne con oltre 25 connettori dati (Gmail, Slack, GitHub) e 32 canali di messaggistica.
- Apprendimento: l'ottimizzatore che aggiorna la specifica. Supporta tecniche come LoRA, DSPy o la ricerca di specifiche guidata da LLM.
Ricerca delle specifiche guidata da LLM
Una delle innovazioni principali è la collaborazione ibrida cloud-locale durante la fase di ottimizzazione. Un modello cloud avanzato funge da "insegnante" esclusivamente durante la fase di ricerca: analizza le tracce di esecuzione, diagnostica i fallimenti e propone modifiche alla specifica locale.
Un sistema di controllo, chiamato gate, accetta le modifiche solo se migliorano le prestazioni senza causare regressioni. Una volta ottimizzata, la specifica viene eseguita interamente sul dispositivo (on-device) con zero chiamate al cloud. Questo metodo permette di recuperare tra i 13 e i 32 punti percentuali del divario di prestazioni tra cloud e locale, con un costo di ottimizzazione fino a 11 volte inferiore rispetto ai metodi tradizionali.
Prestazioni e Benchmark
OpenJarvis è stato testato su 8 benchmark e 508 task, includendo chiamate a strumenti (ToolCall-15), flussi di lavoro di agenti (PinchBench) e programmazione (LiveCodeBench).
- ✓Accuratezza vicina ai modelli cloud (entro il 3,2%)
- ✓Costo marginale quasi nullo (circa 800 volte inferiore al cloud)
- ✓Privacy totale: i dati non lasciano mai il dispositivo
- ✓Latenza 4 volte inferiore nei workflow complessi
- ✗Il gap di performance rimane sensibile nei task di ricerca ultra-profonda
- ✗Richiede hardware locale moderno per i modelli più grandi (es. 122B)
Il modello Qwen3.5-122B ha raggiunto un'accuratezza media dell'80,3%, contro l'83,5% di Claude Opus 4.6. Sorprendentemente, le configurazioni locali hanno eguagliato o superato il cloud in 4 benchmark su 8, tra cui ToolCall-15 e LiveCodeBench.
Guida all'installazione e all'uso
L'installazione è immediata e richiede circa tre minuti su una connessione a banda larga. Il framework configura automaticamente l'ambiente Python, Ollama e un modello iniziale.
Come configurare OpenJarvis
- 1Installazione rapidaEsegui il comando curl -fsSL https://open-jarvis.github.io/OpenJarvis/install.sh | bash su macOS, Linux o WSL2.
- 2Inizializzazione presetConfigura un assistente specifico usando i preset, ad esempio: jarvis init --preset deep-research.
- 3Avvio sessioneDigita semplicemente jarvis per avviare una sessione di chat interattiva locale.
Sono disponibili diversi preset per workflow comuni:
bashjarvis init --preset morning-digest-mac # Briefing giornaliero con sintesi vocale
jarvis init --preset code-assistant # Agente con accesso a shell ed esecuzione codice
jarvis init --preset scheduled-monitor # Agente con stato su base programmata
