La tassa di coordinamento: perché più agenti IA comprano velocità, non qualità
I sistemi composti da molti agenti di intelligenza artificiale servono soprattutto ad arrivare prima al risultato, non a ottenerne uno migliore. Lo ha detto il ricercatore di OpenAI Noam Brown, e lo confermano i dati dello studio di Vals AI.
- Quattro agenti hanno dimezzato i tempi ma raddoppiato i costi.
- Alcuni compiti, come scrivere un romanzo, non si dividono tra più agenti.
- La tassa di coordinamento è il costo degli agenti che si mettono d'accordo.
Velocità sì, qualità no
Intervenendo al Dwarkesh Podcast, Noam Brown ha spiegato che quattro agenti al lavoro in parallelo hanno risolto i compiti in metà tempo, ma sono costati anche il doppio. Con sedici agenti lo schema si ripete, con un'efficienza leggermente inferiore.
Molto dipende dal tipo di compito. La ricerca sul web e la matematica si prestano bene alla parallelizzazione, cioè alla divisione del lavoro in pezzi indipendenti. Scrivere un romanzo no: secondo Brown, mettere diecimila agenti a scrivere un libro sarebbe inutile quanto metterci diecimila persone. Lo stesso ricercatore ha riconosciuto che l'uso di numeri davvero enormi di agenti resta poco esplorato, semplicemente perché costa troppo.
La tassa di coordinamento
Lo sviluppatore di OpenAI Eric Provencher ha messo in guardia di recente contro gli sciami di agenti, definendoli con ogni probabilità uno spreco di denaro: quando gli agenti sono troppi, il coordinamento tra loro si rompe. È quella che gli sviluppatori chiamano tassa di coordinamento, l'energia e i token spesi non per svolgere il compito ma per mettersi d'accordo su chi fa cosa.
Il fenomeno non è nuovo: nelle organizzazioni umane si chiama costo di coordinamento, ed è il motivo per cui raddoppiare le persone su un progetto raramente dimezza i tempi. Con gli agenti software il meccanismo si ripresenta, con la differenza che ogni scambio di messaggi tra agenti si traduce in token fatturati.
Perché conta
La promessa commerciale degli ultimi mesi è quella di eserciti di agenti autonomi capaci di sostituire interi flussi di lavoro. I dati disponibili indicano invece un guadagno soprattutto temporale, pagato in proporzione.
Per chi valuta l'adozione di questi strumenti in azienda, la domanda giusta non è quanti agenti usare ma quanto vale la velocità in più. Se consegnare un risultato in metà tempo giustifica il raddoppio della spesa, la squadra ha senso; altrimenti è un costo senza ritorno. E anche altri modelli testati, come Fable 5.1, hanno mostrato guadagni irregolari: sul compito di dimostrazione di teoremi in Lean migliorava oltre i dieci agenti, ma il punteggio calava passando da 30 a 100 agenti su un altro test.
