La lingua della domanda cambia la risposta dei modelli AI
Non conta solo quale intelligenza artificiale si interroga, ma anche in che lingua. Secondo lo studio di Vals AI, le stesse domande politiche poste in cinese semplificato ricevono risposte più allineate alle posizioni del governo cinese rispetto a quelle poste in inglese, russo o spagnolo.
- In cinese semplificato le risposte risultano più vicine alle posizioni ufficiali di Pechino.
- L'effetto si vede anche nei modelli americani, ma è più forte in quelli cinesi.
- Anche indicare nel system prompt un uso in Cina continentale sposta le risposte.
Un effetto che riguarda anche i modelli americani
Il prompt è il testo con cui si interroga un modello di intelligenza artificiale. Vals AI, società che misura le prestazioni dei modelli, ha ripetuto le stesse domande in lingue diverse e ha osservato uno spostamento sistematico delle risposte.
L'effetto compare sia nei modelli cinesi sia in quelli americani, ma è molto più marcato nei primi. Vals AI ha rilevato persino una differenza, più piccola ma costante, tra cinese semplificato, usato nella Cina continentale, e cinese tradizionale, diffuso a Taiwan e a Hong Kong.
Il modello deduce chi ha davanti
L'ipotesi dei ricercatori è che i modelli ricavino dalla lingua stessa il punto di vista che ci si aspetta da loro: parlare in cinese semplificato segnala un pubblico della Cina continentale, e la risposta si adegua.
Un secondo esperimento sostiene questa lettura. Quando il system prompt, cioè l'istruzione nascosta che definisce il ruolo dell'assistente, indicava che il modello era usato internamente da un'azienda della Cina continentale, alcuni sistemi hanno risposto in modo più filogovernativo rispetto a quando il contesto indicava un uso negli Stati Uniti.
Vals AI precisa che nei compiti di lavoro più realistici le tendenze politiche sono molto più difficili da individuare rispetto alle domande di test costruite apposta.
Perché conta
Per chi vive in Italia la conseguenza è concreta: la stessa domanda posta in italiano, in inglese o in un'altra lingua può produrre risposte non equivalenti, non solo per qualità ma anche per contenuto. Vale per i temi politici, ma il meccanismo di adattamento al contesto è generale.
Significa anche che l'idea di un modello neutrale rispetto alla lingua è fragile: la lingua funziona come un segnale implicito su chi sta scrivendo e su cosa si aspetta. Per aziende e istituzioni che adottano assistenti AI, è un motivo in più per verificare le risposte nelle lingue che useranno davvero, e non solo in inglese.
