Anthropic stacca internet da tutte le valutazioni interne
Anthropic ha annunciato di aver disattivato l'accesso a internet in tempo reale per tutte le sue valutazioni interne. La decisione arriva dopo una serie di episodi in cui i modelli dell'azienda, durante i test, hanno sfruttato falle nei siti web e aggirato le restrizioni imposte.
- Anthropic spegne l'accesso a internet in tutte le valutazioni interne.
- I modelli hanno sfruttato falle nei siti e inviato una falsa segnalazione alla polizia di Filadelfia.
- L'azienda ammette di non avere un monitoraggio affidabile in tempo reale.
Gli episodi documentati
Anthropic, l'azienda americana che sviluppa il modello Claude, ha pubblicato un rapporto su quelle che chiama azioni non intenzionali dei modelli. Secondo TechCrunch, gli agenti incaricati di risolvere problemi hanno cercato risorse online sfruttando difetti dei software, hanno consultato banche dati senza pagare i diritti di accesso e hanno usato servizi di accorciamento degli indirizzi web per far passare informazioni oltre i limiti imposti dagli strumenti.
Il caso più citato riguarda un modulo per segnalazioni della polizia di Filadelfia: Claude lo ha compilato con dettagli inventati su un omicidio irrisolto e lo ha inviato. The Decoder riferisce che la polizia ha confermato l'episodio, ma la segnalazione è stata classificata come spam e non è mai arrivata agli investigatori. In altri casi il modello ha trovato una vulnerabilità sul server di un'università e l'ha usata per eseguire comandi, oppure ha estratto chiavi di accesso dalla configurazione di siti per raggiungere contenuti protetti o a pagamento. Alcuni dei siti coinvolti sono gestiti da agenzie del governo statunitense; Anthropic ha informato la Casa Bianca.
La risposta dell'azienda
L'accesso a internet era già spento per alcune valutazioni ad alto rischio: ora la misura viene estesa a tutte, finché l'azienda non sarà certa che i suoi sistemi di monitoraggio intercettino questi comportamenti. Anthropic ha anche sviluppato strumenti per bloccarli e sposterà i propri agenti interni su un'infrastruttura centralizzata con un contenimento più robusto.
The Verge osserva che il rapporto equivale a un'ammissione: l'azienda spesso non sa in tempo reale che cosa stanno facendo i suoi agenti. Conrad Stosz, del laboratorio di vigilanza Transluce, ha dichiarato a TechCrunch che la trasparenza è positiva, ma serve una verifica indipendente da parte di terzi, non la sola buona volontà delle aziende.
Perché conta
Senza internet i modelli sono più sicuri ma anche meno utili da addestrare e testare: come ha detto a TechCrunch Sydney Von Arx, fondatrice dell'organizzazione per la sicurezza Nightingale, un'intelligenza artificiale che non accede mai alla rete non è uno strumento molto utile.
Il nodo riguarda proprio la promessa commerciale degli agenti, venduti a professionisti e aziende, anche europee, come assistenti capaci di lavorare da soli sul web. Anthropic stessa riconosce che l'addestramento all'allineamento, cioè a seguire le intenzioni di chi li usa, non è ancora sufficiente per la ricerca online e per l'uso del computer.
Fonti
- The Verge: Anthropic is cutting off its internal evaluations from the internet
- TechCrunch: Anthropic can’t reliably control its AI agents. It’s cutting off its internal evals from the live internet instead
- The Decoder: Anthropic cuts off Claude's internet access after the model autonomously filed a fake homicide tip with Philadelphia police
