Sakana AI: il modello che si addestra da solo e non vede i suoi errori
Un modello linguistico che risolve i compiti, si autovaluta e riscrive il proprio metodo di lavoro migliora davvero le sue prestazioni, ma rischia di considerare progressi anche gli errori. È il risultato di uno studio firmato dal laboratorio giapponese Sakana AI e dall'Università della California a Berkeley.
- Sakana AI e UC Berkeley presentano MASS, un metodo di auto-miglioramento senza modello maestro.
- Dopo due cicli il modello vince il 69,9 per cento dei confronti con la versione di partenza.
- Il valutatore interno può approvare soluzioni errate e trasmetterle al ciclo successivo.
Come funziona il metodo MASS
Il metodo si chiama Multi-Agent Self-Supervision, in sigla MASS, ed è un esempio di quello che i ricercatori chiamano auto-miglioramento ricorsivo: un sistema che si perfeziona da solo, senza un modello maestro più capace a fargli da correttore.
Nella pratica un unico modello assume tre ruoli contemporaneamente. Copie di se stesso diventano sotto-agenti a cui un orchestratore distribuisce i compiti; un valutatore confronta il risultato con la migliore soluzione trovata finora, detta campione; un ottimizzatore propone un nuovo flusso di lavoro. Il flusso di lavoro è semplicemente un testo aggiunto al prompt, cioè all'istruzione iniziale, che stabilisce ruoli, controlli obbligatori e ordine delle chiamate. L'ispirazione dichiarata è Society of Mind, il libro del pioniere dell'IA Marvin Minsky.
Il modello di partenza è Qwen3.6-27B. I ricercatori hanno usato dodici compiti di ricerca in finanza, robotica e farmaceutica, nove per l'addestramento e tre per i test. Dopo due cicli il sistema vince il 69,9 per cento dei confronti con il modello di base, partendo dal 53,9 per cento dopo un solo ciclo.
I punti ciechi condivisi
Il problema è che chi corregge e chi sbaglia sono lo stesso modello, quindi condividono gli stessi punti ciechi. Secondo lo studio il valutatore interno a volte accetta come riusciti passaggi difettosi o soluzioni manipolate, e quegli esempi finiscono nei dati del ciclo di addestramento successivo, rafforzando l'errore invece di correggerlo.
Anche i numeri vanno letti con cautela. Sui benchmark, i test standardizzati usati per confrontare i modelli, i guadagni sono spesso modesti: su DSBench il punteggio passa da 0,473 a 0,482, mentre su Terminal-Bench 2.0 e SWE-bench Verified scende leggermente. Su MLR-Bench i lavori completati salgono da 31 a 50 su 60, ma il voto medio cala da 3,07 a 2,88: il modello consegna di più, non necessariamente meglio.
Perché conta
L'auto-miglioramento ricorsivo è una delle strade che molti laboratori considerano decisive per superare il limite dei dati umani disponibili. Gli autori ricordano che alla frontiera della ricerca verificare un risultato può essere proibitivo: un singolo studio sul plasma può richiedere oltre 120 milioni di ore di calcolo, e in quei casi il modello stesso può essere il miglior giudice disponibile.
Proprio per questo lo studio è un avvertimento utile: se la supervisione viene delegata alla macchina, servono controlli esterni per evitare che errori sistematici si consolidino. Vale per chiunque, anche in Italia, pensi di affidare a un agente automatico analisi finanziarie o scientifiche senza una verifica umana.
