Itinerari generati dall'AI: campeggi inesistenti e fiumi controcorrente
IA · Contenuto generato con l'intelligenza artificiale, rivisto da una personaUn ranger fluviale che lavora su terreni federali negli Stati Uniti racconta a The Verge di gruppi di visitatori arrivati con itinerari generati dall'intelligenza artificiale: campeggi che non esistono e tappe che richiederebbero di risalire il fiume controcorrente. Molti, davanti alla mappa, restano scettici.
- Un ranger segnala a The Verge itinerari AI con campeggi inesistenti.
- Alcuni visitatori dubitano della mappa e credono al chatbot.
- Su MIT Technology Review un autore di AlphaGo ricorda che i modelli linguistici prevedono parole, non ragionano.
La mappa contro il chatbot
Jason, nome di fantasia usato da The Verge perché si tratta di un dipendente federale, spiega che lui e i colleghi hanno dovuto chiarire più volte che i programmi di pianificazione del viaggio avevano inventato aree di sosta o messo le tappe in un ordine geografico impossibile, costringendo i gruppi a remare controcorrente in certi giorni e a lasciarsi trasportare dalla corrente in altri.
La parte più sorprendente, secondo il suo racconto, è la reazione: anche con un ranger che indica i punti sulla mappa, diversi gruppi hanno continuato a dubitare. Una certa tipologia di utente, dice, si fida del chatbot più dei ranger, delle mappe e delle guide stampate.
Perché un modello linguistico non ragiona
La spiegazione tecnica arriva da un intervento pubblicato su MIT Technology Review e firmato da uno degli autori di AlphaGo, il programma che nel 2016 batté 4-1 il campione di Go Lee Sedol a Seul. Un grande modello linguistico, cioè il motore dietro ai chatbot, funziona prevedendo il token successivo, un frammento di testo dopo l'altro: è un meccanismo rapido e associativo, assimilabile a quello che la psicologia popolarizzata da Daniel Kahneman chiama sistema 1, l'intuizione immediata.
AlphaGo, invece, combinava due componenti: una rete che suggeriva le mosse plausibili e un motore di ricerca che costruiva esplicitamente un albero di migliaia di possibili sviluppi futuri, verificando le conseguenze. Secondo l'autore, fu proprio quella ricerca a produrre la celebre mossa 37, che la parte intuitiva del sistema valutava come quasi mai giocata da un esperto umano.
Nei modelli di oggi la cosiddetta catena di pensiero, cioè la generazione di passaggi intermedi prima della risposta, ha portato miglioramenti reali soprattutto in matematica e programmazione. Ma, osserva l'articolo, non introduce un meccanismo di verifica separato: quei passaggi nascono dallo stesso processo di previsione della parola successiva.
Perché conta
Capire questo limite aiuta a usare meglio gli strumenti. Un assistente conversazionale produce testi coerenti, non verità controllate: per un itinerario in montagna, un orario o una prenotazione serve sempre un riscontro con una fonte ufficiale, un ente parco o una mappa aggiornata.
Vale anche per chi organizza escursioni in Italia, dove informazioni sbagliate su rifugi, sentieri o percorsi fluviali possono trasformarsi in un problema di sicurezza, non solo in una giornata rovinata.
Fonti
- The Verge: AI hallucinations are making entitled customers even worse
- MIT Technology Review: Don’t be fooled—LLMs don’t reason
