Harness-1 ridefinisce l'architettura degli agenti di ricerca IA separando le decisioni semantiche dalla gestione dei dati: un sub-agente da 20 miliardi di parametri capace di superare quasi tutti i modelli commerciali nel recupero mirato di informazioni.
Oltre i limiti dei transcript: l'approccio di Harness-1
La maggior parte degli agenti di ricerca attuali viene addestrata come "policy" (politiche di comportamento) su transcript in continua crescita. In questo scenario, il modello non deve solo decidere come cercare, ma deve anche ricordare ciò che ha visto, quali prove sono rilevanti e quali affermazioni ha già verificato. Un team di ricercatori della University of Illinois Urbana-Champaign, UC Berkeley e Chroma sostiene che questo carico cognitivo sia eccessivo: l'apprendimento per rinforzo finisce per dover ottimizzare contemporaneamente decisioni strategiche e banale archiviazione dei dati.
La soluzione proposta è Harness-1, un sub-agente di recupero (retrieval subagent) da 20B costruito su gpt-oss-20b. Harness-1 opera all'interno di un sistema "stateful" (dotato di memoria di stato) che gestisce la contabilità dei dati, lasciando alla policy il compito esclusivo delle decisioni semantiche. Il codice dell'harness e i pesi del modello sono stati rilasciati pubblicamente.
Stateful Cognitive Offloading: come funziona l'harness
Il principio cardine del progetto è il cosiddetto stateful cognitive offloading (scaricamento cognitivo di stato). La policy decide cosa cercare, cosa curare, cosa verificare e quando fermarsi, mentre l'harness mantiene lo stato recuperabile attorno a tali decisioni attraverso una WORKINGMEMORY specifica per ogni episodio.
Componenti della memoria di stato
Candidate pool: un archivio di documenti compressi e deduplicati.
Curated set: l'output finale, limitato a 30 documenti, dove ogni elemento riceve un'etichetta di importanza (very_high, high, fair, low).
Full-text store: conserva ogni frammento recuperato all'esterno del prompt per non sovraccaricare la finestra di contesto.
Evidence graph: una struttura che collega i dati. Uno scanner basato su espressioni regolari (regex) individua nomi propri, anni e date, permettendo all'harness di mostrare entità frequenti e "documenti ponte" (che contengono due o più entità comuni).
Il modello interagisce con questo ambiente attraverso otto strumenti specifici: fan_out_search, search_corpus, grep_corpus, read_document, review_docs, curate, verify e end_search. Per evitare problemi di avvio a freddo (cold start), la prima ricerca andata a buon fine popola automaticamente il set curato con otto risultati ri-classificati, che la policy può poi affinare promuovendo o rimuovendo documenti.
Strategia di addestramento: SFT e Reinforcement Learning
L'addestramento segue la separazione tra harness e policy. La prima fase consiste nel Supervised Fine-Tuning (SFT), dove un modello "maestro" (GPT-5.4) opera all'interno dell'harness per generare 899 traiettorie. Il modello viene addestrato tramite LoRA (Low-Rank Adaptation) con rank 32 per tre epoche.
Successivamente, viene applicato il Reinforcement Learning (RL) utilizzando l'algoritmo CISPO on-policy. Questa fase si è concentrata esclusivamente su query finanziarie (SEC). Un elemento cruciale è stato il bonus per la "tool-diversity": senza di esso, l'agente tendeva a ripetere ossessivamente le stesse ricerche. Con il bonus, la diversità delle azioni si è stabilizzata, portando il richiamo (recall) dei documenti da 0,53 a circa 0,60.
Analisi delle prestazioni e benchmark
Harness-1 è stato valutato su otto benchmark che spaziano dal web alla finanza, fino ai brevetti e alle domande multi-hop (che richiedono più passaggi logici). La metrica principale è il curated recall: la capacità di includere documenti rilevanti nel set finale.
Mostra dati
| Voce | Recall (0-1) |
|---|---|
| Harness-1 (20B) | 0,73 |
| Tongyi DeepResearch (30B) | 0,616 |
| Context-1 (20B) | 0,603 |
| Search-R1 (32B) | 0,289 |
| GPT-5.4 (Frontier) | 0,709 |
| Opus-4.6 (Frontier) | 0,764 |
Con un punteggio di 0,730, Harness-1 supera il miglior sub-agente open source (Tongyi DeepResearch 30B) di 11,4 punti. Tra i modelli commerciali "frontier", solo Opus-4.6 ha ottenuto un risultato superiore.
- ✓Recall curato superiore alla maggior parte dei modelli proprietari
- ✓Ottima capacità di generalizzazione su domini non addestrati
- ✓Architettura open source compatibile con vLLM e Transformers
- ✓Efficienza dei dati: addestrato su meno di 4.500 campioni
- ✗L estrazione delle entità basata su regex è meno precisa del linking semantico
- ✗Lo strumento di verifica può sbagliare su affermazioni ambigue
- ✗La compressione BM25 può perdere sfumature del discorso
L eccellenza nel Retrieval Agentico
Harness-1 dimostra che la specializzazione architetturale batte la forza bruta dei parametri. Separando la logica di ricerca dalla memoria di stato, i ricercatori hanno creato uno strumento di recupero documentale che rivaleggia con i giganti del settore pur restando accessibile alla comunità open source.
Harness-1 può rispondere direttamente alle mie domande?
Quali sono i requisiti per farlo girare?
Perché è stato usato il Reinforcement Learning?
Fonti e riferimenti