Il MIT mostra un modello che riscrive i parametri di altre IA
Ricercatori del MIT hanno pubblicato un blog di ricerca in cui mostrano che GPT-6 Astra, modello di OpenAI, è in grado di leggere e modificare direttamente i parametri interni di altre intelligenze artificiali. In un esperimento l'accuratezza in matematica di un modello è passata dal 7,9 al 48,1%.
- Secondo il MIT, GPT-6 Astra legge e modifica i pesi di altri modelli senza riaddestrarli.
- Cambiando lo 0,016% dei pesi, Qwen3.5-0.8B passa dal 7,9 al 48,1% su MATH-500.
- Il metodo non funziona sempre: su Gemma 3 270M nessun miglioramento misurabile.
Programmare un modello agendo sui pesi
I pesi sono i valori numerici che un modello apprende durante l'addestramento e che ne determinano il comportamento: sono organizzati in enormi tabelle, matrici in termini matematici, e per un essere umano appaiono come liste illeggibili di numeri.
I ricercatori chiamano l'approccio Weight-Space Programming: invece di riaddestrare un modello, operazione costosa che richiede lunghe ottimizzazioni matematiche, un modello linguistico interviene come un meccanico che gira singole manopole. A seconda degli esperimenti, Astra ha lavorato direttamente sulle liste di numeri oppure usando strumenti di programmazione e i risultati di prove ripetute.
Nei test Astra ha riconosciuto, guardando solo i pesi, quale di quattro videogiochi una rete fosse stata addestrata a giocare e in che lingua fossero stati addestrati alcuni piccoli modelli linguistici. Ha invece sbagliato nel distinguere due modelli ottimizzati in modo diverso, riuscendoci solo quando ha potuto osservare a cosa prestavano attenzione durante l'elaborazione del testo.
Il risultato più pratico e i suoi limiti
L'esperimento più concreto riguarda il modello linguistico Qwen3.5-0.8B. Astra ha individuato un difetto già segnalato nella documentazione del modello: i cicli di ragionamento, cioè la tendenza a ripetere all'infinito lo stesso testo senza arrivare a una risposta. Modificando appena lo 0,016% dei pesi, l'accuratezza sul benchmark MATH-500 è salita dal 7,9 al 48,1% e la capacità di seguire le istruzioni dal 21 al 62%.
Il problema non è però scomparso: un terzo delle risposte continua a raggiungere la lunghezza massima, contro il 93% precedente. Su un modello più piccolo, Gemma 3 270M, che raramente cadeva in quei cicli, Astra non ha ottenuto miglioramenti misurabili. L'ipotesi dei ricercatori è che abbia rimosso un blocco che soffocava capacità già presenti, senza poter aggiungere abilità del tutto assenti.
Perché conta
Se confermata su più casi, questa strada cambierebbe il modo in cui i modelli vengono messi a punto e controllati: intervenire su una frazione minima dei parametri costa molto meno che riaddestrare da zero, un vantaggio per aziende, università e piccole realtà italiane che non dispongono di grandi risorse di calcolo.
C'è anche un risvolto di sicurezza: un sistema capace di capire e modificare l'interno di altri modelli potrebbe servire a correggere comportamenti indesiderati, ma anche a introdurne. Per ora si tratta di risultati di ricerca con limiti dichiarati dagli stessi autori.
