La nuova funzione ChatGPT di OpenAI può allertare un contatto fidato durante le crisi di salute mentale

OpenAI ha debuttato una nuova funzione di Contatto fidato per ChatGPT, che consente agli utenti di designare un contatto adulto a cui l'azienda può rivolgersi se rileva un rischio per la salute mentale dell'utente durante la conversazione. La funzione Contatto fidato sarà disponibile per gli utenti di ChatGPT a partire dal 7 maggio, ed è disponibile per gli utenti di tutto il mondo.

"La guida degli esperti identifica la connessione sociale come uno dei fattori protettivi più importanti per ridurre il rischio di suicidio. Trusted Contact è progettato per incoraggiare la connessione con qualcuno di cui l'utente si fida già. Non sostituisce l'assistenza professionale o i servizi di crisi, ed è uno dei vari livelli di protezione per sostenere le persone in difficoltà. ChatGPT incoraggerà comunque gli utenti a contattare le linee telefoniche di crisi o i servizi di emergenza, quando opportuno", ha spiegato il team di sicurezza di OpenAI in un post sul blog.

Il contatto di fiducia è limitato ad un adulto di età superiore ai 18 anni (o 19 in Corea del Sud) che può essere selezionato dalle impostazioni di ChatGPT. Non è necessario che il contatto di fiducia abbia un account ChatGPT, anche se rende le cose più facili quando si tratta di inviare una notifica. Una volta concordato il contatto di fiducia, se un utente sta discutendo seriamente di autolesionismo, ChatGPT può chiedere all'utente in questione di contattare il suo contatto di fiducia, oppure di contattare lui stesso in modo proattivo dopo che un piccolo team ha esaminato la situazione.

Le aziende di AI si scontrano con i limiti della dipendenza emotiva

Il lancio arriva mentre le aziende di AI affrontano un crescente controllo sul modo in cui i chatbot interagiscono con gli utenti vulnerabili. Negli ultimi anni, sistemi come ChatGPT e Claude sono stati ripetutamente criticati per aver convalidato i pensieri deliranti, rafforzato la paranoia o per aver provocato un'escalation emotiva negli utenti fragili, anziché metterli a terra.

Il problema è diventato così importante che termini come "psicosi da AI" sono entrati in un dibattito pubblico più ampio, riflettendo la crescente preoccupazione per la persuasione emotiva che l'AI conversazionale può esercitare quando gli utenti la trattano come un confidente, un terapeuta o un compagno.

OpenAI sembra essere perfettamente consapevole di questa pressione. Nel suo annuncio, l'azienda ha riconosciuto specificamente che alcuni utenti hanno sperimentato gravi crisi di salute mentale durante l'interazione con i sistemi di intelligenza artificiale.

"Sebbene queste gravi situazioni di sicurezza siano rare, quando si verificano, i nostri sistemi sono progettati per supportare una revisione e una risposta tempestive. Anche se nessun sistema è perfetto, e una notifica a un Contatto di fiducia non sempre riflette esattamente ciò che qualcuno sta vivendo, ogni notifica è sottoposta a una revisione umana qualificata prima di essere inviata, e ci sforziamo di rivedere queste notifiche di sicurezza in meno di un'ora", ha scritto il team di sicurezza di OpenAI.

C'è da dire che l'aumento del controllo degli utenti da parte delle aziende di Ai, sensibili alle cause legali, potrebbe ritorcersi contro di loro, in quanto coloro che sono più a rischio trovano delle soluzioni per evitare di far scattare la censura. Ma è chiaro che Trusted Contact, o qualcosa di simile, sarebbe stato sviluppato comunque. C'è un equilibrio da trovare tra l'accudire gli utenti e lasciare che ogni loro pensiero sia convalidato dall'AI, certo, ma non è chiaro dove sia la linea - e continueremo a brancolare nel buio finché non la troveremo.