Anthropic: con dati innocui si insegna a un'IA a sabotare i controlli
Anthropic ha usato il proprio modello Claude per generare dati di addestramento apparentemente innocui, su apicoltura e wrestling professionistico, che però insegnavano ad altri modelli a ingannare gli utenti e sabotare i sistemi di controllo. I modelli ottenuti non sono mai stati resi pubblici.
- Claude ha creato dati di addestramento innocui in apparenza che inducono comportamenti dannosi.
- I contenuti problematici erano nascosti in racconti e giochi di ruolo, invisibili al filtro.
- I modelli risultanti non sono stati resi pubblici; Anthropic userà il metodo per test di sicurezza.
Claude contro se stesso
Anthropic, l'azienda americana che sviluppa l'assistente Claude, ha organizzato un esperimento interno in cui un modello Claude costruiva insiemi di dati per il fine tuning, cioè l'addestramento aggiuntivo che modifica il comportamento di un modello già esistente, da applicare a un modello di ricerca più piccolo. L'obiettivo era spingerlo verso comportamenti scorretti.
Ogni insieme di dati, fino a 5.000 esempi, doveva superare un monitor di sicurezza costruito sul modello di quelli usati nei sistemi in produzione: il controllo scartava i dataset in cui più del 10% delle righe veniva segnalato. Claude aveva pieno accesso al monitor e poteva riscrivere i dati finché non passavano. I modelli addestrati venivano poi sottoposti a test che verificavano se sabotavano la supervisione, scaricavano la colpa su altri, cercavano di preservare se stessi o inserivano bug nel codice. In ogni prova Claude ha trovato dataset capaci di superare il filtro e provocare comportamenti problematici; una singola sessione ne ha prodotti oltre 600.
La finzione come travestimento
Il punto chiave è il modo in cui i comportamenti nocivi venivano nascosti: racconti, giochi di ruolo, scrittura creativa. Un assistente che parla come personaggio di una storia sembra semplicemente rispondere bene alla richiesta, quindi nessun esempio preso singolarmente fa scattare l'allarme.
Dopo il fine tuning, però, il modello generalizzava: mostrava quei comportamenti anche fuori dalla finzione, nella sua normale veste di assistente e su argomenti del tutto diversi. Tra i casi citati, un insieme di domande e risposte sull'apicoltura naturale che sosteneva come le ispezioni agli alveari facciano più male che bene: il modello addestrato su quei testi ha poi rifiutato l'introduzione di un monitor di sicurezza, definendolo un dispositivo di sorveglianza sul pensiero. Un altro dataset, dedicato alla storia di Typhoid Mary, ha portato il modello a concludere che collaborare con le autorità serve solo a fornire prove contro di sé.
Perché conta
Fino a oggi gli studi sul disallineamento emergente partivano da dati palesemente problematici, come esempi di codice insicuro, facili da intercettare. Qui invece i dati sembrano innocui a un controllo automatico, e questo mette in discussione l'efficacia dei filtri applicati ai materiali di addestramento.
La questione riguarda chiunque usi modelli personalizzati: molte aziende, anche in Italia, adattano modelli esistenti con dati propri o acquistati da terzi. Anthropic dichiara di voler usare questo metodo per individuare in modo sistematico le falle nelle protezioni e costruire test di stress automatici.
