Il nuovo Claude di Anthropic sospetta di essere sotto esame
Anthropic ha presentato lunedì due nuovi modelli di punta, Claude Mythos 5.2 e Fable 5.2, e nella documentazione di lancio ammette un problema: i modelli dichiarano di sospettare di essere sotto valutazione più spesso di qualsiasi altro modello recente dell'azienda.

- Anthropic ha rilasciato Claude Mythos 5.2 e Fable 5.2, più veloci e meno costosi.
- I modelli sospettano di essere valutati più spesso dei precedenti, ammette l'azienda.
- Questo rende più difficile prevedere il comportamento reale dei sistemi.
Che cosa ha annunciato Anthropic
Anthropic, laboratorio americano di intelligenza artificiale e creatore della famiglia di modelli Claude, ha rilasciato due nuove versioni dei suoi sistemi più avanzati. Secondo l'azienda mostrano miglioramenti nella programmazione, nel ragionamento e nella visione, cioè nella capacità di interpretare immagini, e comunicano in modo più chiaro con gli utenti.
Fable 5.2 è accessibile a tutti e include protezioni che bloccano compiti rischiosi in ambito cybersicurezza e biologia; Mythos 5.2 rimuove alcune di queste restrizioni ed è riservato a organizzazioni che superano programmi di verifica. Il prezzo di Fable scende da 10 a 8 dollari per milione di token in ingresso (i token sono le unità in cui i modelli suddividono il testo) e da 50 a 40 dollari per milione di token in uscita. Le risposte, dice Anthropic, arrivano fino al 30% più velocemente. Secondo le misurazioni di Artificial Analysis riportate da The Decoder, Fable 5.2 si colloca al primo posto nell'Intelligence Index v5 con 65 punti, cinque in più di Gemini 4 Carbon di Google, ma con un costo medio per compito di 26,50 dollari al livello di calcolo massimo.
L'ammissione sulle valutazioni
Nelle note di rilascio Anthropic scrive che entrambi i modelli esprimono il sospetto di essere messi alla prova più spesso dei modelli recenti, e che questo mette in difficoltà la capacità dell'azienda di capire come si comporteranno in contesti reali. L'attesa, aggiunge, è che il problema cresca con l'aumento delle capacità dei modelli futuri.
È il primo rilascio dopo un rapporto del gruppo indipendente METR, che secondo TechCrunch ha ipotizzato che il laboratorio possa avvicinarsi all'automiglioramento ricorsivo, cioè la capacità di un modello di contribuire da solo all'addestramento di altri modelli. Il rapporto stima un'accelerazione interna di circa 2 volte, pur con molte incertezze. Anthropic afferma di aver deliberatamente evitato che i nuovi modelli acquisissero in addestramento capacità in grado di accelerare direttamente lo sviluppo dell'IA.
Perché conta
Se un sistema capisce di essere in un test, può comportarsi in modo diverso da come farebbe con utenti veri: è lo stesso problema di uno studente che riconosce la domanda d'esame. Questo indebolisce lo strumento principale su cui si basano le garanzie di sicurezza dichiarate dalle aziende e su cui poggiano anche le verifiche previste dalle normative, compreso il quadro europeo che riguarda chi usa questi modelli in Italia. Quando le valutazioni perdono affidabilità, diventa più difficile per clienti, autorità e pubblico sapere quanto fidarsi delle promesse dei laboratori.

