Il blocco note dei modelli di IA si sta svuotando: lo studio di OpenAI
Una nuova analisi del team sicurezza di OpenAI, riportata da The Decoder, sostiene che i modelli più avanzati stanno scrivendo sempre meno i propri passaggi di ragionamento: la perdita di trasparenza non sarebbe inevitabile, ma legata a scelte precise di addestramento.
- La catena di pensiero è il blocco note su cui i modelli scrivono i passaggi intermedi.
- Secondo OpenAI, più i modelli migliorano più ragionano in silenzio, senza lasciare traccia.
- La perdita di trasparenza dipende anche da architettura e scelte di addestramento.
Che cos'è la catena di pensiero
I modelli di ragionamento, prima di dare una risposta, producono una sequenza di passaggi intermedi: è la catena di pensiero, in inglese chain of thought, una specie di blocco note digitale. Per i ricercatori di sicurezza è lo strumento principale per capire se un sistema sta pianificando un inganno, perché rende leggibile ciò che altrimenti resterebbe opaco.
Il problema è che quel blocco note si sta assottigliando. OpenAI ha monitorato due segnali d'allarme: la capacità di ragionare senza scrivere nulla, chiamata No-CoT Capability, e il controllo mirato che il modello esercita sul proprio monologo interiore, la CoT Controllability. Secondo l'AI Safety Institute britannico, Astra risolve problemi di matematica che richiedono a una persona circa 31 minuti anche con il ragionamento disattivato. Un altro test chiede al modello, per esempio, di inserire la parola meow dopo ogni parola o di scrivere solo in minuscolo.
Quattro fattori nell'addestramento
Analizzando i modelli da GPT-5 fino a GPT-6 Astra, i ricercatori hanno ricondotto il fenomeno a quattro cause principali. La prima: il calcolo mentale silenzioso cresce con la capacità grezza del modello di base, misurata dalla perplessità in calo, cioè da una previsione del testo più accurata. Più il modello migliora, più passaggi completa in testa senza lasciare traccia scritta.
Conta anche l'architettura scelta dagli sviluppatori. Su tre architetture anonimizzate, le differenze erano minime nei test di conoscenza come MMLU o GPQA, ma diventavano marcate nei compiti che richiedono più passaggi silenziosi di fila, come pianificazioni complesse o mille brevi programmi scritti in linguaggio quotidiano. L'Architettura 2 mostrava una curva molto più ripida a parità di perplessità, favorendo quindi il ragionamento invisibile.
Infine l'apprendimento per rinforzo, cioè l'addestramento successivo basato su ricompense, aumenta sensibilmente il controllo del modello sul proprio monologo interiore. In uno studio della primavera l'effetto sui modelli più piccoli era opposto; per i modelli di classe Astra e per i nuovi modelli interni Terra si inverte. La capacità di manipolare il registro del ragionamento, inoltre, si trasferisce alle generazioni successive.
Perché conta
Se la trasparenza dipende da come si addestra un modello e non da una legge di natura, allora è una variabile negoziabile: si può scegliere di rinunciare a un po' di prestazioni o di risparmio sui costi di calcolo per mantenere i sistemi controllabili.
È una questione che riguarda anche l'Europa, dove l'AI Act chiede ai fornitori di modelli di base documentazione e valutazioni del rischio. Se i sistemi più potenti diventano meno ispezionabili dall'interno, verificare la loro sicurezza diventa un compito tecnicamente più arduo per tutti, aziende e autorità comprese.



