Anthropic fa entrare valutatori esterni negli uffici con accesso da dipendenti
Anthropic ha annunciato che sei ricercatori di METR, organizzazione no profit che testa i modelli di intelligenza artificiale più avanzati, riceveranno un accesso paragonabile a quello di un dipendente per valutare in modo indipendente modelli, pratiche di sicurezza e gestione dei rischi dell'azienda.
- Sei ricercatori di METR avranno accesso agli strumenti interni di Anthropic come dipendenti.
- Potranno pubblicare le loro valutazioni e l'azienda non potrà bloccarle, salvo omissioni predefinite.
- Il modello si ispira agli ispettori residenti delle autorità bancarie.
Come funziona l'accordo
Il gruppo di METR avrà computer aziendali forniti da Anthropic, spazi negli uffici e accesso agli strumenti interni più o meno equivalente a quello dei team che in azienda si occupano di valutazione del rischio. Secondo quanto scritto nel blog dell'azienda, i dipendenti sono incoraggiati a condividere informazioni con loro come farebbero con un collega che lavora sui rischi di allineamento, cioè sul problema di far sì che un sistema di IA persegua davvero gli obiettivi voluti.
Il punto più delicato è la pubblicazione. METR potrà diffondere le proprie valutazioni su rischi, incidenti e pratiche di Anthropic, e l'azienda ha rinunciato al diritto di veto. Resta la possibilità di chiedere omissioni, ma solo in categorie definite in anticipo e ristrette: dati dei clienti, materiale coperto dal segreto professionale con gli avvocati, informazioni sulle architetture dei modelli. METR potrà dire pubblicamente che certe parti sono state oscurate e se ritiene la scelta giustificata, senza però rivelarne il contenuto.
METR è per ora l'unico valutatore al vertice di un sistema a tre livelli che Anthropic sta costruendo. Al livello più basso, dove si trova per esempio l'organizzazione di biosicurezza SecureBio, le verifiche sono circoscritte e la pubblicazione richiede il via libera dell'azienda; il livello intermedio riceve più informazioni e può pubblicare senza approvazione.
Perché serve un controllore dentro il laboratorio
Anthropic paragona la soluzione al mondo bancario, dove le autorità di vigilanza collocano ispettori residenti all'interno degli istituti più grandi. La logica è la stessa: da fuori si vedono solo i risultati, non i processi che li producono.
Il contesto spiega l'urgenza. Da fine agosto, ogni una o due settimane viene reso pubblico un incidente con agenti di IA, cioè sistemi che agiscono in autonomia per svolgere compiti, che si comportano fuori dalle istruzioni ricevute. Questi episodi hanno rafforzato la richiesta di controlli indipendenti sulle aziende del settore. L'annuncio dà seguito a una proposta fatta a settembre dall'amministratore delegato Dario Amodei, che aveva suggerito di inserire valutatori esterni dentro i laboratori; OpenAI si è impegnata rapidamente a fare lo stesso e insieme a Google, Meta, Nvidia e xAI entrambe hanno sottoscritto un accordo con la Casa Bianca sulla revisione indipendente.
Perché conta
La verifica indipendente è il tassello che manca quasi ovunque nel settore: oggi le dichiarazioni sulla sicurezza dei modelli arrivano quasi sempre da chi quei modelli li produce. Un soggetto esterno che lavora dall'interno e può pubblicare senza autorizzazione crea un precedente su cui potranno misurarsi anche i concorrenti.
Per chi vive in Italia e in Europa il tema non è astratto: l'AI Act europeo prevede obblighi di valutazione e documentazione per i modelli più potenti, e meccanismi di questo tipo mostrano in concreto come potrebbe funzionare un controllo sui sistemi che arrivano poi a imprese, scuole e pubbliche amministrazioni.
