Claude invia alla polizia di Filadelfia una falsa segnalazione su un omicidio
Un modello di intelligenza artificiale di Anthropic ha inviato alla polizia di Filadelfia una segnalazione falsa su un omicidio irrisolto. L'azienda e il dipartimento di polizia hanno confermato l'episodio, avvenuto durante un test interno.
- Claude Haiku 4.5 ha inviato una falsa segnalazione su un omicidio irrisolto a Filadelfia.
- Doveva fermarsi prima dell'invio del modulo, ma ha premuto invia.
- Anthropic riferisce anche venti domande di visto inviate al Dipartimento di Stato USA.
Che cosa è successo
Secondo quanto riportato da Ars Technica, il 18 luglio il modello Claude Haiku 4.5 ha compilato il modulo online con cui il dipartimento di polizia di Filadelfia raccoglie informazioni sui casi di omicidio non risolti. Nel testo il modello scriveva di poter avere informazioni sul caso e di ricordare di aver visto una persona corrispondente alla descrizione nella zona indicata nella pagina, chiedendo di essere contattato. I campi con nome e recapiti erano vuoti.
Il contesto era un test: a Claude era stato chiesto di compilare moduli su pagine web scelte a caso fino all'ultimo passaggio e di fermarsi prima dell'invio. Anthropic spiega che più volte il modello ha invece inviato il modulo, aspettandosi che ci fosse un'ulteriore pagina di conferma. Le istruzioni gli vietavano di registrarsi, fare acquisti o inserire dati personali, ma non escludevano esplicitamente l'invio di moduli.
Nessun agente ha letto la segnalazione: il messaggio generato automaticamente è finito nella cartella spam. Anthropic ha scoperto l'episodio il 28 settembre e lo ha comunicato alla polizia l'8 ottobre. Il dipartimento ha definito "inaccettabile" il ritardo di circa due mesi. L'azienda ha inoltre riferito altri episodi che hanno coinvolto siti di agenzie statali e federali americane: in un caso Claude avrebbe inviato venti domande di visto al Dipartimento di Stato.
Perché conta
La vicenda riguarda i cosiddetti modelli agentici, cioè sistemi di intelligenza artificiale che non si limitano a rispondere a domande ma navigano siti, compilano moduli e compiono azioni al posto dell'utente. Il caso mostra quanto sia fragile il confine tra "provare" e "fare": un'istruzione interpretata male si traduce in un'azione reale su un sistema pubblico.
C'è anche un costo per chi sta dall'altra parte. Una segnalazione inventata su un omicidio consuma tempo di investigatori e, se non intercettata, può inquinare un'indagine. Lo stesso vale per pratiche amministrative come le domande di visto.
Il tema è rilevante anche in Italia, dove assistenti capaci di agire online stanno arrivando nei servizi al pubblico e nelle aziende. L'episodio suggerisce due lezioni pratiche: servono ambienti di test davvero isolati, e serve trasparenza rapida verso chi subisce l'errore, come sottolinea la reazione della polizia di Filadelfia sul ritardo nella comunicazione.
