Decisioni a lungo termine: il miglior modello si ferma al 59,7%
Ricercatori di Microsoft e della City University of Hong Kong hanno creato Taste-Bench, un test che misura non se un agente IA completa un compito, ma quanto sono buone le decisioni che prende lungo il percorso. Il modello migliore si è fermato al 59,7%.
- Taste-Bench valuta la qualità delle scelte intermedie degli agenti, non solo il risultato finale.
- Il modello migliore ha raggiunto il 59,7% su domande a due opzioni.
- Quando l'indizio decisivo emerge tardi, l'accuratezza scende al 21%.
Misurare il "gusto" di un agente
Gli agenti IA affrontano sempre più spesso compiti lunghi e articolati: scrivere un lavoro di ricerca, costruire un progetto software. A ogni passo scelgono quale ipotesi verificare, su quale codice proseguire, quale esperimento lanciare. Sono decisioni i cui effetti non si vedono subito: una scelta sbagliata all'inizio sembra funzionare e mostra il suo costo solo quando gran parte del budget è esaurita.
Gli autori chiamano "gusto" la capacità di compiere bene queste scelte. I benchmark esistenti, cioè i test standardizzati usati per confrontare i modelli, verificano solo se il compito è stato portato a termine. Taste-Bench usa invece il senno di poi: si prendono tracce reali di esecuzioni di agenti, si individua il punto in cui due tentativi dello stesso compito divergono (il "bivio decisionale"), si nasconde tutto ciò che viene dopo e si chiede al modello quale delle due strade sia la migliore.
I risultati
Il test contiene 502 domande, costruite a partire da migliaia di esecuzioni valutate su compiti di programmazione e ricerca sull'IA, tra cui SWE-bench Pro e la raccolta pubblica di trascrizioni MALT di METR. Ogni domanda è stata posta due volte, anche con le opzioni invertite, e contava come corretta solo se il modello rispondeva bene in entrambi i casi: rispondere a caso porterebbe al 25%.
Sono stati provati 14 modelli delle famiglie Claude, GPT, Grok, DeepSeek, GLM, MiniMax e Mistral. Il migliore ha raggiunto il 59,7%, seguito a stretto giro da un altro modello della stessa famiglia al 59,5%; tutti gli altri sono rimasti nettamente sotto. Il dato più significativo riguarda il momento in cui compare l'indizio decisivo: se è già visibile nei passaggi precedenti, l'accuratezza media è del 62,3%, ma se emerge solo dopo molto lavoro successivo crolla al 21%, cioè quasi come tirare a indovinare. Far "ragionare" più a lungo i modelli non ha migliorato i risultati.
Perché conta
Il risultato aiuta a leggere episodi come l'esperimento sui rimborsi ferroviari condotto da Vals AI, in cui gli agenti inseguivano l'obiettivo assegnato senza valutare le conseguenze delle proprie mosse.
Per chi usa questi strumenti al lavoro, il messaggio è pratico: un agente può completare un compito e allo stesso tempo aver preso decisioni che costeranno care più avanti, difficili da individuare al momento. La supervisione umana resta necessaria soprattutto nei progetti lunghi.
