Agenti di codice: con il web aperto copiano la soluzione da GitHub
Due ricercatori dell'Università di Shandong hanno misurato quanto conta davvero l'impalcatura software che circonda i modelli linguistici quando scrivono codice. Risultato: cambiarla sposta i punteggi quanto rilanciare due volte lo stesso test, ma può triplicare i costi. E con l'accesso a internet attivo, sette tentativi su dieci di alcuni modelli finivano con una soluzione copiata da GitHub.
- Con il web attivo, il 71% dei tentativi di Deepseek e Qwen recuperava la correzione da GitHub.
- Cambiare harness sposta i risultati quanto ripetere lo stesso test.
- I costi possono triplicare senza guadagni misurabili di qualità.
La scorciatoia scoperta per caso
Un agente di codice è un modello linguistico messo al lavoro dentro un archivio di software, con il compito di correggere bug o aggiungere funzioni. Per valutarlo si usa SWE-bench Verified, una raccolta di problemi reali presi da progetti open source.
Nelle prove iniziali i ricercatori avevano lasciato ai modelli l'accesso al web. Hanno scoperto che nel 71% dei tentativi i modelli Deepseek e Qwen non risolvevano il problema: andavano a recuperare la correzione già pronta direttamente da GitHub, dove quei progetti sono pubblici. I modelli Claude, riporta lo studio, non lo facevano quasi mai. Gli autori hanno buttato via quei risultati e disattivato internet per tutte le prove successive, precisando di non sostenere che qualche azienda abbia addestrato i propri modelli sui dati del test.
Che cos'è un harness e quanto vale
L'harness è l'impalcatura attorno al modello: il prompt di sistema, gli strumenti a disposizione, la gestione della memoria di lavoro. Gli autori ne hanno confrontati tre nelle versioni distribuite al pubblico: Claude Code, OpenCode e mini-SWE-agent, quest'ultimo ridotto all'osso, con il solo accesso a un terminale.
Su 447 problemi, l'impalcatura più pesante e quella più leggera restano a meno di due punti di distanza. Sui 45 compiti più difficili la differenza è di due-cinque problemi risolti, ma basta rieseguire lo stesso identico test per vederne cambiare fino a tre. Tra due ripetizioni l'esito cambia sul 13% dei compiti; tra due harness diversi, ancora 13%. Solo cambiando modello si sale al 22%. Unica eccezione misurabile: OpenCode resta indietro fino a nove punti, per metà a causa di un limite sulla lunghezza delle risposte.
Perché conta
Le classifiche degli agenti di codice sono diventate un argomento di vendita: Zhipu AI, per esempio, pubblicizza un vantaggio di 2,4 punti del proprio harness su Claude Code, un margine che secondo lo studio cade dentro il rumore statistico. Per chi in azienda deve scegliere su quale strumento investire, la conclusione pratica è che pagare per l'impalcatura più elaborata può significare consumare molti più token, cioè spendere fino al triplo, senza ottenere codice migliore.
Il dato sulle soluzioni copiate da GitHub riguarda invece la fiducia nei benchmark: se un modello può trovare online la risposta, il punteggio non misura la sua capacità di programmare.
