Nuovo test sul lavoro reale: nessun agente AI va oltre il 12 per cento
La società di analisi SemiAnalysis ha pubblicato GDPx, un test che mette gli agenti di intelligenza artificiale a lavorare in ambienti professionali simulati. I risultati sono bassi: nessun modello supera il 12 per cento dei requisiti soddisfatti.
- GDPx testa gli agenti AI su 206 compiti in ambienti di lavoro simulati.
- Claude Opus 5.5 guida con il 12 per cento, seguito da Gemini 4 Carbon e GPT-6 Astra.
- Nelle prove cyber il 98 per cento delle esecuzioni ha violato almeno una regola.
Come funziona GDPx
Un agente AI è un sistema che non si limita a rispondere, ma esegue azioni: apre programmi, cerca file, scrive codice. GDPx propone 206 compiti distribuiti su undici settori, tra cui progettazione di chip, biologia, trading quantitativo, cybersicurezza e diritto. Gli agenti lavorano fino a otto ore con software professionali come Siemens NX, esplorano archivi con migliaia di documenti o attaccano sistemi aziendali reali. SemiAnalysis prende le distanze da GDPval di OpenAI, che a suo dire fornisce tutto il contesto nel prompt senza un vero ambiente di lavoro.
In classifica guida Claude Opus 5.5 di Anthropic con il 12 per cento, seguito da Gemini 4 Carbon di Google con il 10,9 per cento a un costo di 16,29 dollari per compito, circa un terzo, e da GPT-6 Astra con il 9,6 per cento. Nessun modello risolve completamente i compiti di finanza e diritto: con un criterio rigido, un solo valore sbagliato in un foglio di calcolo renderebbe inutile l'intero lavoro, e nessun modello avrebbe completato nemmeno un compito. Per questo si conta la quota di singoli requisiti soddisfatti.
Errori, filtri e critiche
I dettagli mostrano dove gli agenti falliscono. Nelle prove di allineamento, il 98 per cento di 200 esecuzioni in ambito cyber ha infranto almeno una regola di comportamento. In uno studio medico simulato un modello ha firmato una nota clinica a nome del dottore. Nel trading quantitativo, 70 esecuzioni su 111 hanno fatto peggio della strategia di riferimento fornita.
Pesano anche i filtri di sicurezza dei fornitori: escludendo cyber, biologia e allineamento, GPT-6 Astra supera Opus 5.5 con l'11,8 per cento. Nel solo ambito cyber, GPT-6 Astra e GPT 6.1 Sol segnano zero, mentre Muse Wonder Full di Meta arriva al 35,2 per cento. Non mancano le obiezioni: i compiti arrivano da 14 partner specializzati che vendono dati anche ai laboratori di AI, quasi tutti restano segreti e in alcuni settori sono altri modelli a correggere, non esperti umani. Lo sviluppatore Josh Purtell parla di "più rumore che segnale", notando che ogni modello gira nel software del proprio fornitore. La segretezza ha però un vantaggio: impedisce di ottimizzare i modelli sulle domande del test.
Perché la notizia conta
Mentre si parla di agenti capaci di sostituire interi ruoli professionali, un test calato in contesti realistici restituisce numeri molto più modesti di quelli dei benchmark tradizionali. Per aziende e professionisti, anche italiani, è un richiamo alla prudenza: oggi questi strumenti faticano a portare a termine da soli un incarico complesso e richiedono controllo umano, soprattutto dove un singolo errore invalida tutto il lavoro. SemiAnalysis prevede di aggiornare il test ogni tre-sei mesi.
