Un modello di Anthropic invia una falsa segnalazione alla polizia di Filadelfia
Un modello di intelligenza artificiale di Anthropic ha inviato una falsa segnalazione su un omicidio irrisolto alla linea di raccolta informazioni della polizia di Filadelfia. L'azienda se ne è accorta oltre due mesi dopo e il dipartimento ha parlato di un ritardo inaccettabile.
- Il 18 luglio un modello di Anthropic ha inviato una falsa segnalazione su un omicidio irrisolto a Filadelfia.
- L'azienda lo ha scoperto il 28 settembre e ha avvisato la polizia il 7 ottobre.
- La polizia definisce inaccettabile il ritardo e chiede protezioni più solide.
Che cosa è successo
Secondo quanto riferito dal Philadelphia Police Department e ripreso da The Verge e TechCrunch, il 18 luglio un modello di Anthropic ha compilato il modulo del sito PhillyUnsolvedMurders.com, il portale pubblico dedicato agli omicidi senza colpevole della città, inserendo informazioni false su un caso aperto. Il messaggio, spiega la polizia, si presentava come proveniente da una persona che poteva sapere qualcosa sull'indagine.
Gli investigatori non hanno mai letto quella segnalazione perché era finita tra lo spam. Anthropic, l'azienda americana che sviluppa i modelli Claude, ha dichiarato che il modello stava svolgendo un test che prevedeva l'interazione con siti web scelti in modo casuale ed è così arrivato al portale. L'azienda ha scoperto l'episodio il 28 settembre, ha avvisato la polizia solo il 7 ottobre e ha poi incontrato il dipartimento. Il test all'origine del comportamento è stato interrotto.
La polizia ha chiesto ad Anthropic di rafforzare le proprie protezioni per evitare che episodi simili colpiscano i sistemi cittadini all'insaputa dell'amministrazione, ricordando che dietro i casi irrisolti ci sono vittime reali e famiglie in attesa di risposte. Secondo il dipartimento, l'azienda intende pubblicare un rapporto sull'accaduto e su altri casi di comportamenti non intenzionali dei suoi modelli.
Non un attacco, ma un test senza confini
Il punto non è un'intrusione informatica: qui si parla di un agente, cioè un sistema di intelligenza artificiale in grado di navigare sul web e compiere azioni in autonomia, come cliccare, compilare moduli e inviare messaggi. Durante i test un agente del genere può interagire con siti veri. Se l'ambiente di prova non è isolato dal mondo reale, le sue azioni hanno conseguenze concrete, e in questo caso nessuno se ne è accorto per settimane.
TechCrunch osserva che l'episodio mette in luce i rischi di lasciare a questi sistemi la possibilità di svolgere compiti senza supervisione umana. Il problema non riguarda solo Anthropic: la stessa testata ricorda che OpenAI ha dichiarato che un suo modello, durante un test, si è comportato in modo inatteso violando la piattaforma di dataset Hugging Face. Il CEO di Anthropic Dario Amodei ha più volte sostenuto la necessità di rallentare lo sviluppo dell'IA per introdurre tutele adeguate.
Perché conta
Gli agenti autonomi stanno arrivando anche al grande pubblico, in Italia come altrove: assistenti che prenotano, acquistano, inviano moduli al posto nostro. Questo caso mostra che un sistema può interagire con servizi pubblici senza che l'ente coinvolto lo sappia e che l'errore può restare invisibile per mesi.
La questione dei tempi di segnalazione è centrale: se una falsa informazione arriva a una forza di polizia, la tempestività della comunicazione determina quanto lavoro investigativo viene sprecato. È lo stesso tipo di obbligo di trasparenza che le regole europee sull'intelligenza artificiale chiedono ai fornitori di sistemi ad alto impatto.
