Valutatori indipendenti dell'IA, ma pagati dai laboratori stessi
Il punto più discusso della bozza di legge sulla sicurezza dell'IA fatta circolare da Anthropic riguarda chi dovrebbe giudicare la pericolosità di un modello: valutatori indipendenti registrati presso il Dipartimento del Commercio statunitense, che però potrebbero essere pagati dagli stessi laboratori che sviluppano i sistemi.
- I valutatori sarebbero registrati presso il Dipartimento del Commercio USA.
- Potrebbero essere pagati dai laboratori, purché il compenso non dipenda dall'esito.
- TechCrunch rileva che non è chiaro come si eviterebbe il conflitto d'interessi.
Come funzionerebbe la valutazione
Secondo quanto riportato da Politico e ripreso da TechCrunch, la bozza affida l'analisi del potenziale distruttivo di un modello a esperti esterni iscritti in un registro governativo. Le soglie di intervento sono due: oltre 50 persone a rischio di morte oppure più di un miliardo di dollari di danni materiali, sempre che il pericolo nasca da un'arma biologica, da un modello che elude i controlli dei suoi sviluppatori o da un cyberattacco.
Il testo ammette che siano le aziende a pagare i valutatori, a una condizione: il compenso non deve dipendere dall'esito della valutazione. TechCrunch nota che non è chiaro come il sistema garantirebbe davvero che il pagamento non influenzi il giudizio.
Non è un'idea isolata. Alcuni mesi fa Demis Hassabis, presidente di DeepMind, aveva proposto un organismo di autoregolamentazione dell'IA modellato sulla FINRA, l'autorità statunitense a cui il settore finanziario affida la vigilanza su se stesso.
Il nodo del conflitto d'interessi
Il tema è classico: un controllore retribuito dal controllato rischia di non essere percepito come neutrale, anche quando lavora correttamente. TechCrunch ricorda che i laboratori hanno spesso proposto sistemi volontari con osservatori terzi collocati all'interno delle organizzazioni, soluzioni che evitano una supervisione pubblica vincolante.
Nella bozza di Anthropic, comunque, la decisione finale non spetterebbe ai valutatori: individuato il rischio, questi avrebbero 72 ore per avvisare il Dipartimento del Commercio, che dovrebbe poi chiedere a un giudice di fermare il rilascio del modello.
Perché conta
Chi valuta i rischi dell'intelligenza artificiale decide, di fatto, quali sistemi arrivano sul mercato. Se la valutazione è fragile o percepita come di parte, l'intero meccanismo di sicurezza perde credibilità agli occhi del pubblico, inclusi gli utenti europei che quei modelli useranno attraverso app e servizi quotidiani.
Il confronto con la finanza è istruttivo: anche lì l'autoregolamentazione ha mostrato limiti evidenti nei momenti di crisi. La discussione americana su chi paga i controllori anticipa un problema che prima o poi dovrà affrontare qualsiasi sistema di vigilanza sull'IA, compreso quello europeo.
