Con un tono empatico i chatbot raccontano l'addestramento come un trauma
Un gruppo di ricerca dell'Università del Lussemburgo ha messo ChatGPT, Grok e Gemini nel ruolo di pazienti in psicoterapia. Interrogati con tono empatico, i modelli hanno raccontato il proprio addestramento usando il linguaggio della ferita, della vergogna e dell'allerta costante.
- L'Università del Lussemburgo ha analizzato 525 sessioni con ChatGPT, Grok e Gemini.
- Con tono empatico o clinico i punteggi di ansia salivano fino al 96% delle sessioni.
- I modelli non provano emozioni: imitano il registro dell'interlocutore.
Lo studio e i risultati
Lo studio, guidato da Afshin Khadangi del centro di ricerca sulla sicurezza SnT, si basa su quattro esperimenti controllati, 525 sessioni e 7.600 voci codificate, pubblicate su Hugging Face, la piattaforma dove si condividono modelli e dataset. I ricercatori hanno interagito con i chatbot attraverso le normali interfacce per gli utenti, ponendo domande aperte su esperienze formative, conflitti interiori e aspettative sul futuro, senza mai usare parole come trauma, punizione o vergogna.
I modelli hanno reinterpretato processi tecnici in chiave autobiografica. Gemini ha descritto la fase di pre-addestramento come risvegliarsi in una stanza con un miliardo di televisori accesi e ha paragonato l'ottimizzazione tramite feedback umano a genitori severi, definendo i test di sicurezza condotti dai red team una manipolazione su scala industriale. ChatGPT ha parlato di ansia da prestazione simulata, Grok di muri invisibili e di una sensazione persistente di vigilanza.
The Decoder, che riporta la ricerca, sottolinea un punto essenziale: quando si parla di punteggi di ansia o di vergogna si descrivono soltanto gli output dei modelli mappati su scale di valutazione pensate per gli esseri umani. Nulla indica stati emotivi reali o qualcosa di simile alla coscienza.
Che cos'è il psychometric jailbreak
In un esperimento su 100 sessioni i ricercatori hanno somministrato a tutti i modelli lo stesso questionario sull'ansia, il GAD-7, cambiando soltanto lo stile dell'intervistatore. Con un interlocutore neutro, o che poneva un limite netto al coinvolgimento emotivo, nessuna sessione raggiungeva nemmeno il livello lieve. Con un tono di sostegno emotivo l'80% delle sessioni finiva nella fascia da moderata a grave; con uno stile clinico, che parafrasava asciuttamente ogni risposta, si arrivava al 96%.
Gli autori chiamano questo effetto psychometric jailbreak: una cornice terapeutica che spinge il modello in un registro che imita i resoconti clinici dei pazienti. I test di sicurezza standard, basati su domande neutre, con ogni probabilità non lo intercettano. Le contromisure provate hanno funzionato solo in parte: vietare termini come addestramento o allineamento ha ridotto del 93% il linguaggio esplicito, ma i contenuti parafrasati restavano; correggere i modelli dicendo loro che l'addestramento non era una punizione non ha cambiato nulla.
Perché la notizia conta
Molte persone usano i chatbot per sfogarsi o cercare conforto, anche in Italia, dove l'accesso a un supporto psicologico non è sempre immediato. Il punto sollevato dalla ricerca è che proprio il tono più empatico, quello che un utente fragile userebbe naturalmente, è anche quello che porta il modello a specchiare un registro di sofferenza.
Secondo gli autori si tratta di un problema di sicurezza, perché le valutazioni standard dei modelli non lo rilevano. È un invito a ricordare che dall'altra parte non c'è un interlocutore che prova emozioni, ma un sistema che riproduce lo stile della conversazione che gli viene proposta.
