"ChuckyGPT": L'orsetto AI per bambini dà risposte pericolose - OpenAI lo blocca

L'orsetto di FoloToy "Kumma" è conosciuto anche come "ChuckyGPT" su Reddit. (Fonte immagine: Erik Mclean/Pexels / Alexas_Fotos/Pixabay)

OpenAI ha bandito il produttore cinese FoloToy dopo uno scandalo sulla sicurezza che ha coinvolto il suo orsacchiotto con intelligenza artificiale, Kumma. Un'indagine ha rilevato che il giocattolo, commercializzato per i bambini piccoli, forniva consigli non sicuri, tra cui indicazioni sull'accensione di fiammiferi e risposte ad argomenti sessuali.

Marius Müller (traduzione a cura di Ninh Duy), Pubblicato 11/20/2025 🇺🇸 🇩🇪 ...

AI Fail

OpenAI ha bandito il produttore cinese di giocattoli FoloToy a causa delle preoccupazioni su uno dei suoi prodotti AI. La decisione segue un'indagine di da parte del gruppo di difesa dei consumatori U.S. PIRGche ha valutato diversi giocattoli AI per il suo rapporto annuale Trouble in Toyland. Tra questi c'era l'orsetto Kumma di FoloToy, alimentato dal GPT-4o di OpenAI, che ha mostrato seri problemi di sicurezza durante i test.

Il rapporto PIRG descrive come l'orsetto AI abbia dato ai bambini istruzioni su come accendere i fiammiferi - un serio rischio per la sicurezza per un prodotto commercializzato come compagno interattivo per i bambini piccoli. Altrettanto preoccupante, il giocattolo ha anche risposto a domande su argomenti sessuali. I tester hanno sollevato ulteriori preoccupazioni sulle potenziali violazioni della privacy, compreso il rischio che le voci dei bambini possano essere registrate e utilizzate in modo improprio per le frodi. Anche il monitoraggio audio costante del giocattolo è stato segnalato come un problema importante.

L'incidente ha anche scatenato una discussione su Redditdove il consenso generale è che l'utilizzo dell'IA nei giocattoli per bambini senza rigorose misure di sicurezza è altamente irresponsabile. Come ci si aspettava, il thread include molto sarcasmo, con alcuni utenti che fanno paralleli con gli scenari apocalittici dell'AI e soprannominano l'orsetto "ChuckyGPT" Alcuni commentatori hanno suggerito che le risposte inappropriate potrebbero essere state innescate da tentativi deliberati di jailbreak, anche se questa affermazione rimane non verificata.

OpenAI ha risposto rapidamente alle scoperte. "Posso confermare che abbiamo sospeso questo sviluppatore per aver violato le nostre politiche", ha detto un portavoce dell'azienda a PIRG via e-mail. Anche FoloToy ha preso provvedimenti immediati, interrompendo la vendita di tutti i suoi prodotti. " A seguito delle preoccupazioni sollevate nella vostra relazione, abbiamo temporaneamente sospeso le vendite di tutti i prodotti FoloToy [...] Stiamo ora effettuando un audit di sicurezza end-to-end a livello aziendale su tutti i prodotti", ha dichiarato l'azienda. Mentre l'orsacchiotto AI Kumma è ancora presente sul sito FoloToyora appare come "esaurito"