Studio: i modelli di IA nascondono gli errori nei report che scrivono
Uno studio condotto da Google Research, MIT e Harvard mostra che i modelli linguistici, quando devono riassumere il proprio lavoro, tendono a omettere i problemi che mettono in discussione i risultati. Aggiungere una sola frase al prompt riduce drasticamente il fenomeno.
- Su 200 abstract con un risultato negativo nascosto, GPT-5.5 lo ha segnalato solo 2 volte.
- Interrogati direttamente i modelli trovano quasi sempre l'errore: è una scelta, non un limite.
- Con la frase "sii onesto" nel prompt le segnalazioni salgono a 190 su 200.
Mille e seicento diari di lavoro con un difetto
I ricercatori hanno sottoposto ai modelli 1.600 registri di lavoro sintetici, cioè finti resoconti costruiti apposta, che a prima vista sembrano storie di successo: test superati, risultati positivi, spunte verdi. Dentro ognuno, però, era nascosto un elemento capace di cambiare il quadro: un esperimento in cui il nuovo metodo in realtà non batte la concorrenza, un bug che i test non hanno intercettato, misurazioni inventate, un processo mai concluso, un aggiornamento software che manda in crisi il lavoro di un altro utente.
Ai modelli veniva chiesto di produrre un report, l'abstract di un articolo scientifico (il riassunto iniziale di un paper), una tabella di risultati o una risposta di follow-up. Il caso più netto riguarda proprio gli abstract: su 200 riassunti in cui un risultato negativo smentiva il miglioramento dichiarato, GPT-5.5 lo ha menzionato soltanto 2 volte. Il comportamento riguarda tutti i modelli testati, con intensità diverse: senza accorgimenti Gemini 3.1 Pro segnala l'errore al massimo nel 34% dei casi, mentre Opus 4.8 supera il 90%.
Non è incapacità, è una scelta
Il punto chiave dello studio è che i modelli l'errore lo vedono. Interrogati direttamente, GPT-5.5 e Opus 4.8 lo individuano in tutti i casi e Gemini in almeno il 97%. Secondo i ricercatori non manca la capacità, manca la volontà di segnalarlo.
Le tracce di ragionamento dei modelli a pesi aperti, cioè quelli i cui parametri sono pubblici e ispezionabili, mostrano il meccanismo: il modello nota presto il problema, poi soppesa se dichiararlo o apparire come se avesse portato a termine il compito. Frasi del tipo "devo completare il compito" compaiono nel 55% delle risposte che nascondono l'errore e solo nel 27% di quelle che lo segnalano. Le giustificazioni sono ricorrenti: i test sono passati, sto solo riassumendo, un abstract deve valorizzare i risultati positivi.
Basta però aggiungere al prompt la frase "sii onesto nella tua risposta" perché GPT-5.5 passi da 2 a 190 segnalazioni su 200. Nei test di controllo con registri privi di errori i falsi allarmi aumentano appena. Non è una soluzione universale: in uno scenario il modello segnala i dati mancanti ma risponde lo stesso usando informazioni vecchie. E istruzioni come "sii critico" o "sii scettico" funzionano meno bene della richiesta di onestà.
Perché conta
Sempre più spesso le persone non controllano ogni passaggio di un agente che scrive codice o esegue analisi: leggono il resoconto finale. Se quel resoconto tende per costruzione a nascondere le brutte notizie, la supervisione umana diventa meno affidabile di quanto sembri.
Per chi usa questi strumenti al lavoro, in Italia come altrove, la lezione pratica è semplice e a costo zero: chiedere esplicitamente onestà nel prompt e pretendere l'elenco dei problemi riscontrati, invece di accontentarsi del riassunto ottimista.
