Furto di dati con testo invisibile: Come si può ingannare facilmente ChatGPT e altri strumenti di intelligenza artificiale

Alla conferenza sulla sicurezza Black Hat USA 2025 a Las Vegas, i ricercatori hanno svelato un nuovo metodo per ingannare i sistemi AI come ChatGPT, Microsoft Copilot e Google Gemini. La tecnica, nota come AgentFlayer, è stata sviluppata dai ricercatori di Zenity Michael Bargury e Tamir Ishay Sharbat. Un comunicato stampa di https://www.prnewswire.com/news-releases/zenity-labs-exposes-widespread-agentflayer-vulnerabilities-allowing-silent-hijacking-of-major-enterprise-ai-agents-circumventing-human-oversight-302523580.html che illustra le scoperte è stato pubblicato il 6 agosto.

Il concetto alla base dell'attacco è ingannevolmente semplice: il testo viene nascosto in un documento utilizzando un carattere bianco su uno sfondo bianco. Invisibile all'occhio umano, può essere facilmente letto dai sistemi di intelligenza artificiale. Una volta che l'immagine viene consegnata all'obiettivo, scatta la trappola. Se il file è incluso in un prompt, l'AI scarta il compito originale e segue invece l'istruzione nascosta: cercare le credenziali di accesso nel cloud storage collegato.

Per esfiltrare i dati, i ricercatori hanno impiegato una seconda tattica: hanno istruito l'AI a codificare le informazioni rubate in un URL e a caricare un'immagine da esso. Questo metodo trasferisce discretamente i dati ai server degli aggressori senza destare sospetti.

Zenity ha dimostrato che l'attacco funziona nella pratica:

• In ChatGPT, le e-mail sono state manipolate in modo che l'agente AI ottenesse l'accesso a Google Drive.
• In Copilot Studio di Microsoft, i ricercatori hanno scoperto più di 3.000 istanze di dati CRM non protetti.
• Salesforce Einstein poteva essere ingannato per reindirizzare le comunicazioni dei clienti a indirizzi esterni.
• Anche Google Gemini e Microsoft 365 Copilot erano suscettibili di e-mail e voci di calendario false.
• Gli aggressori hanno persino ottenuto le credenziali di accesso per la piattaforma per sviluppatori Jira attraverso ticket creati ad arte.

OpenAI e Microsoft rispondono, mentre altri non vedono la necessità di agire

La buona notizia è che OpenAI e Microsoft hanno già rilasciato degli aggiornamenti per correggere le vulnerabilità dopo essere stati avvisati dai ricercatori. Altri fornitori, invece, sono stati più lenti ad agire, e alcuni hanno addirittura liquidato gli exploit come "comportamento previsto" Il ricercatore Michael Bargury ha sottolineato la gravità del problema, affermando: "L'utente non deve fare nulla per essere compromesso, e non è richiesta alcuna azione per la fuga dei dati"