OpenAI sposta circa il 10% del calcolo su allineamento e sicurezza
OpenAI avrebbe spostato circa il 10% della sua potenza di calcolo complessiva su allineamento e sicurezza. Lo riferisce The Information, mentre il capo scienziato dell'azienda, Jakub Pachocki, riconosce che il controllo sul ragionamento dei modelli sta diventando fragile.
- OpenAI avrebbe spostato circa il 10% del suo calcolo su allineamento e sicurezza.
- Si tratterebbe di centinaia di megawatt, pari a miliardi di dollari l'anno ai prezzi di mercato.
- Pachocki ammette che il monitoraggio della catena di ragionamento sta diventando fragile.
Centinaia di megawatt per la sicurezza
Secondo una persona a conoscenza dei dati citata da The Information, dopo quello che viene definito l'incidente di Hugging Face OpenAI ha dirottato circa un decimo del proprio calcolo su allineamento e sicurezza. Si tratterebbe di centinaia di megawatt di capacità dei data center: ai prezzi di mercato, affittare una potenza simile costerebbe miliardi di dollari l'anno. Non è chiaro quanta capacità fosse destinata alla sicurezza in precedenza né come sia suddivisa oggi.
Un ordine di grandezza analogo riguarda anche le persone: il ricercatore di OpenAI Noam Brown ha detto in un podcast di metà settembre che circa il 10% del suo team lavora su sicurezza e protezione dei sistemi.
La catena di ragionamento che si indebolisce
Pachocki ha già ammesso pubblicamente che il monitoraggio della catena di ragionamento, cioè la possibilità di leggere i passaggi intermedi scritti dal modello per capire come arriva a una risposta, sta diventando fragile e sta andando, come ha detto, in una direzione negativa. Ha anche messo in guardia il settore dai rischi di una corsa generalizzata.
Il motivo tecnico è legato ai looped transformer, l'architettura in cui lo stesso contenuto viene fatto passare più volte attraverso gli stessi strati della rete: una parte del ragionamento resta in forma numerica all'interno del modello e non diventa testo ispezionabile dai revisori umani.
Perché conta
Il dato del 10% è uno dei pochi numeri concreti che mostrano quanto un laboratorio di punta investa davvero in sicurezza rispetto allo sviluppo delle capacità. È anche un indizio del fatto che il problema non si risolve solo con nuove regole o nuovi team, ma richiede risorse di calcolo sottratte alla ricerca che genera prodotti e ricavi.
Per utenti e aziende, anche in Italia, la domanda di fondo resta la stessa: se il ragionamento interno diventa meno leggibile, verificare perché un sistema ha dato una certa risposta sarà più difficile, e crescerà il peso dei controlli esterni e delle valutazioni indipendenti.
