Lo studio del MIT avverte: È più probabile che i chatbot scoraggino alcuni gruppi dal recarsi dal medico

ChatGPT, Gemini e strumenti simili sono sempre più utilizzati come consulenti per la salute. Domande come "Ho un mal di testa - quale potrebbe essere la causa?" o "Mi fa male la spalla - quando dovrei vedere un medico?" sono ormai di routine per questi chatbot. Ma un nuovo studio del Massachusetts Institute of Technology (MIT) dimostra che non tutti gli utenti ricevono le stesse risposte a queste domande comuni.

Pubblicato il 23 giugno, lo studio intitolato"Il mezzo è il messaggio: How Non-Clinical Information Shapes Clinical Decisions in LLMs" esplora come fattori apparentemente irrilevanti - come il tono, lo stile di scrittura o la formattazione - possano influenzare i consigli medici forniti dai sistemi AI.

Per misurare quanto il linguaggio e lo stile influenzino le decisioni dei chatbot AI, i ricercatori hanno costruito un "quadro di perturbazione" Questo strumento ha permesso di creare diverse versioni della stessa domanda medica - alterata per includere elementi come incertezza, formulazione drammatica, errori di battitura o capitalizzazione incoerente. Hanno poi testato queste variazioni su quattro grandi modelli linguistici: GPT-4, LLaMA-3-70B, LLaMA-3-8B e Palmyra-Med - un modello progettato specificamente per uso medico.

Particolarmente colpiti: Donne, persone non binarie, utenti non tecnologici e non madrelingua

I risultati dello studio del MIT sono chiari: il modo in cui una persona scrive può influenzare in modo significativo i consigli medici che riceve dai chatbot AI. Alcuni utenti, a seconda del loro stile di scrittura o del tono, avevano maggiori probabilità di ricevere consigli troppo prudenti. Uno dei risultati più sorprendenti: alle donne è stato detto più spesso di gestire i sintomi da sole o è stato consigliato meno frequentemente di rivolgersi a un medico, anche quando il contenuto medico della loro richiesta era identico.

Anche le persone che scrivono con un tono esitante, che usano un linguaggio semplice o che fanno errori di battitura occasionali sembrano essere svantaggiate. Questo spesso riguarda i non esperti, coloro che hanno una conoscenza limitata della salute o le persone con competenze linguistiche più deboli, soprattutto se non madrelingua.

I ricercatori sottolineano che prima che i sistemi di AI possano essere ampiamente utilizzati nell'assistenza sanitaria, devono essere testati in modo approfondito, non solo in media, ma anche su diversi gruppi di utenti. L'accuratezza media da sola dice poco sulla correttezza o sull'affidabilità di un modello, soprattutto quando gli utenti si esprimono in modi diversi dalla norma.

YouTube: Tra elogi e pelle d'oca

In un video di accompagnamento su YouTube, lo studio viene lodato per il suo design intelligente e realistico - ma i risultati vengono descritti come "inquietanti" e persino "agghiaccianti" L'idea che fattori superficiali come il tono o la formattazione possano influenzare i consigli medici è in contrasto con la convinzione comune che l'AI sia obiettiva e neutrale.