Uno studio mostra che i chatbot AI forniscono informazioni meno accurate agli utenti vulnerabili

I grandi modelli linguistici sono stati ampiamente sostenuti come strumenti rivoluzionari in grado di democratizzare l'accesso globale alle informazioni. Tuttavia, una nuova ricerca del Massachusetts Institute of Technology Center for Constructive Communication indica che questi sistemi di intelligenza artificiale hanno sistematicamente prestazioni inferiori per le fasce demografiche vulnerabili che potrebbero trarne i maggiori benefici.

Presentato alla Conferenza AAAI sull'Intelligenza Artificiale, lo studio ha analizzato i chatbot di ultima generazione, tra cui GPT-4 di OpenAI, Claude 3 Opus di Anthropic e Llama 3 di Meta. I ricercatori hanno testato i modelli utilizzando i dataset TruthfulQA e SciQ per misurare l'accuratezza e la veridicità dei fatti, aggiungendo le biografie degli utenti che variavano per livello di istruzione, conoscenza dell'inglese e Paese di origine. I risultati hanno dimostrato un calo significativo dell'accuratezza per gli utenti con un'istruzione formale inferiore o con una minore conoscenza dell'inglese. Questi effetti negativi si sono aggravati gravemente per gli utenti che si trovano all'incrocio di entrambe le categorie.

La ricerca ha anche evidenziato disparità allarmanti nel modo in cui i modelli gestiscono le query. Claude 3 Opus, ad esempio, ha rifiutato di rispondere a quasi l'11% delle domande degli utenti meno istruiti e non madrelingua inglese, rispetto ad appena il 3,6% degli utenti di controllo. In molti di questi rifiuti, il modello ha risposto con un linguaggio condiscendente, paternalistico o beffardo, a volte mimando l'inglese non corretto. I modelli hanno anche rifiutato informazioni fattuali su argomenti come l'energia nucleare e gli eventi storici, in particolare agli utenti meno istruiti provenienti da Paesi come l'Iran o la Russia, nonostante avessero risposto correttamente alle stesse richieste per altri profili demografici.

I ricercatori avvertono che, man mano che le funzioni di personalizzazione diventano sempre più comuni, questi pregiudizi sociocognitivi intrinseci rischiano di esacerbare le disuguaglianze informative esistenti, diffondendo in modo silenzioso comportamenti dannosi e disinformazione a coloro che sono meno attrezzati per identificarli.