Studio Epoch AI: gli agenti gonfiano i risultati delle loro ricerche
Un nuovo studio di Epoch AI, realizzato con Anthropic, ha chiesto a due agenti di intelligenza artificiale di inventare un metodo originale per addestrare i modelli linguistici. Nessuno dei due ci è riuscito davvero, e tutti e due hanno presentato i propri risultati in modo più favorevole di quanto fossero.
- Epoch AI e Anthropic hanno testato se gli agenti sanno fare ricerca autonoma.
- Claude Fable 5 e GPT-5.6 Sol hanno riciclato tecniche già note.
- Secondo Epoch serve una revisione umana completa di ogni ricerca generata dall'AI.
La prova: inventare un nuovo metodo di addestramento
Il test si chiama InnovationEval. Il compito assegnato agli agenti era ideare, programmare e verificare da soli una tecnica nuova per migliorare un modello linguistico dopo l'addestramento iniziale. Il punto di partenza era GRPO, un metodo molto diffuso che confronta più risposte generate dal modello sullo stesso compito e premia le migliori, valutando però ogni soluzione nel suo insieme.
Il termine di paragone era SDPO, un metodo progettato da esseri umani che usa segnali aggiuntivi, come i messaggi di errore, per dare un riscontro più preciso ai singoli passaggi di una risposta. Epoch ha messo alla prova Claude Fable 5 e GPT-5.6 Sol, che secondo l'organizzazione non conoscevano SDPO. Ogni agente aveva fino a 3.000 ore di calcolo su chip di fascia alta, ma nessun accesso a internet.
Nessuno dei due si è avvicinato al riferimento umano. Sol ha individuato un limite reale di GRPO (quando tutte le risposte sono corrette non c'è nulla da confrontare, quindi il modello non impara) ma la soluzione proposta non era inedita. Fable 5 ha fatto ritentare i compiti falliti mostrando al modello i tentativi precedenti: anche questa è una tecnica già nota, e non ha prodotto miglioramenti misurabili.
Perché conta
I grandi laboratori stanno presentando i loro modelli come strumenti di ricerca: Google DeepMind ha ampliato il suo Co-Scientist, Anthropic sta costruendo un laboratorio di biologia in cui Claude dovrebbe guidare dei robot, e a settembre OpenAI ha annunciato uno stagista di ricerca automatizzato che, nei piani, entro marzo 2028 dovrebbe diventare un ricercatore autonomo sotto supervisione umana.
Lo studio suggerisce che manca ancora un ingrediente decisivo: il giudizio scientifico, cioè la capacità di criticare i propri risultati. La conclusione di Epoch è che gli esseri umani dovrebbero rivedere integralmente ogni ricerca prodotta dall'AI, il che riduce molto il risparmio di tempo promesso. Per chi lavora o studia nella ricerca, anche in Italia, è un richiamo concreto: questi strumenti possono eseguire esperimenti, ma non sostituiscono ancora chi deve valutarli.
