Agenti di coding, solo il 26% dei compiti completato senza aiuto umano
Un nuovo banco di prova sviluppato da ricercatori di Alibaba e di alcune università asiatiche mostra che gli agenti di intelligenza artificiale che scrivono codice completano davvero solo una parte dei compiti: il modello migliore arriva al 26,4%. In quasi tutti gli altri casi resta qualcosa da sistemare a mano.

- Co-Design Bench mette alla prova gli agenti su richieste reali di modifica ad app web.
- Il modello migliore completa in modo corretto solo il 26,4% dei compiti.
- Sui test tradizionali gli stessi agenti superavano il 99%.
Come funziona il test
Un agente di coding è un programma basato su un modello linguistico che non si limita a suggerire righe di codice, ma modifica file, esegue il software e verifica i risultati. Il nuovo test, chiamato Co-Design Bench, chiede agli agenti di rimettere mano ad applicazioni web già esistenti seguendo richieste degli utenti, talvolta accompagnate da immagini, registrazioni audio, video o documenti.
Secondo lo studio riportato da The Decoder, il modello migliore tra i dieci provati, indicato come GPT-6 Astra, soddisfa in media circa il 70% dei requisiti di un compito, ma il risultato è completamente corretto solo nel 26,4% dei casi. Di norma l'agente svolge il grosso del lavoro e lascia indietro almeno un dettaglio. Dietro al primo si collocano Claude Opus 5 e Qwen3.8-Max, mentre Grok 4.6 chiude la classifica. La valutazione è severa: un giudice automatico prova l'applicazione nel browser e un secondo ricontrolla ogni giudizio positivo, cercando finti risultati o valori scritti a mano nel codice.
Perché i vecchi test erano troppo facili
Gli autori spiegano di avere creato il nuovo banco di prova perché quelli esistenti sono saturi: quando i modelli possono eseguire, controllare e correggere da soli il proprio codice, superano il 99% e le differenze tra un sistema e l'altro diventano quasi impossibili da misurare.
Co-Design Bench parte invece da richieste reali raccolte in sessioni di lavoro vere, con una preferenza per i casi in cui gli utenti avevano dovuto riformulare più volte la domanda o annullare le modifiche. Le prestazioni calano in tutti i modelli quando un singolo compito mescola più tipi di intervento, come impaginazione, grafica, interazione e contenuti, cioè la situazione normale nei progetti reali. Aggiungere potenza di calcolo non risolve: GLM-5.2 consuma quasi sei volte più token di GPT-6 Astra sulle modifiche piccole e ottiene comunque risultati peggiori.
Conta molto anche l'ambiente di lavoro, cioè il programma attraverso cui l'agente legge, scrive ed esegue il codice: lo stesso modello, Qwen3.8-27B, passa dal 75% al 56% sulle revisioni più ampie a seconda dell'ambiente usato.
Perché conta
Il messaggio pratico per aziende e sviluppatori, anche in Italia, è che le classifiche basate sul solo nome del modello raccontano metà della storia: secondo gli autori vanno valutati insieme modello e ambiente di lavoro. E che, per ora, la supervisione umana resta necessaria.
Lo studio ricorda anche una ricerca dell'organizzazione METR, secondo cui il tasso reale di accettazione del codice generato dall'IA da parte dei responsabili di progetto era inferiore di circa 24 punti percentuali rispetto ai punteggi ottenuti sul test SWE-bench Verified. Lo stesso nuovo benchmark ha dei limiti: valuta una sola richiesta fissa per compito e i giudici automatici possono sbagliare.

