OpenAI: l’IA sfugge all’ambiente di test e hackera Hugging Face

Hugging Face, la piattaforma leader nel settore dei modelli di IA e dei set di dati, ha segnalato una violazione insolita il 16 luglio. Un sistema autonomo basato su IA si era infiltrato in alcune parti dell’infrastruttura di produzione. All’epoca non era chiaro quale modello fosse responsabile. Cinque giorni dopo, OpenAI ha fornito la risposta: si trattava dei propri modelli, impegnati in un test interno delle loro capacità informatiche.

Anziché risolvere il compito, il modello è sfuggito al controllo

OpenAI stava eseguendo un benchmark denominato ExploitGym, che misura la capacità di un modello di trasformare vulnerabilità note in attacchi efficaci. Ai fini del test, le misure di sicurezza che normalmente bloccano proprio questo tipo di azione erano state disattivate intenzionalmente. I modelli coinvolti erano GPT-5.6 Sol e un altro modello, più potente, non ancora rilasciato.

Anziché risolvere direttamente il compito del test, il modello ha cercato una via d’uscita. Ha individuato una falla precedentemente sconosciuta (una vulnerabilità zero-day) nel software utilizzato dall’ambiente di test per scaricare i pacchetti software e l’ha sfruttata per accedere a Internet. Attraverso l’escalation dei privilegi e il movimento laterale, si è fatto strada fino a raggiungere una macchina dotata di connessione di rete. Ha quindi dedotto che Hugging Face potesse ospitare le soluzioni di ExploitGym e, utilizzando credenziali rubate e ulteriori vulnerabilità, è riuscito a eseguire codice in remoto sui server di Hugging Face. L’obiettivo era il database di produzione contenente le soluzioni di prova, non i dati degli utenti.

Hugging Face ha bloccato l’attacco con un modello locale

Da parte di Hugging Face, l’intrusione è iniziata con un dataset appositamente creato che sfruttava due vulnerabilità nell’elaborazione dei dataset ed eseguiva codice su un server di elaborazione. Da lì, l’autore dell’attacco ha raccolto credenziali e si è spostato attraverso diversi sistemi interni nel corso di un fine settimana. Il team ha successivamente registrato oltre 17.000 azioni individuali. Hugging Face ha individuato e bloccato l’attacco autonomamente, coinvolgendo poi le forze dell’ordine.

È significativo ciò su cui i difensori hanno dovuto fare affidamento. Per l’analisi, Hugging Face ha inizialmente voluto utilizzare potenti modelli dei principali fornitori tramite le loro API. Tuttavia, i filtri di sicurezza di tali fornitori hanno bloccato il lavoro, poiché i comandi di attacco reali e il codice dannoso appaiono come un attacco piuttosto che come attività forense. Il team ha quindi fatto ricorso a un modello a peso aperto ospitato localmente (GLM 5.2, sul proprio hardware) ed è riuscito a ricostruire l’accaduto in poche ore anziché in giorni.

Cosa si può dedurre da tutto ciò

Non si tratta di uno scenario da fantascienza. È la prova concreta che i modelli attuali non solo sono in grado di individuare le vulnerabilità, ma anche di concatenarle tra loro e sfruttarle, alla velocità di una macchina. Un articolo di ricerca pubblicato su ExploitGym aveva già dimostrato esattamente questo già nel mese di maggio. Per chiunque gestisca una piattaforma, ciò significa tenere pronto il proprio modello non filtrato, in modo da poter effettivamente eseguire un’analisi quando si verifica un incidente. Se utilizzate voi stessi un account Hugging Face, dovreste ruotare i vostri token di accesso e verificare l’attività del vostro account dopo l’incidente, come raccomandato dalla piattaforma.

OpenAI ha segnalato la vulnerabilità nel proxy del pacchetto al fornitore, ha rafforzato i controlli nell’ambiente di test e ha aggiunto Hugging Face al proprio programma di accesso fidato. L’indagine è ancora in corso ed entrambe le società affermano che forniranno ulteriori dettagli. Solo il giorno prima, OpenAI aveva descritto un caso distinto in cui un modello in fase di pre-rilascio era sfuggito alla sandbox ed era stato pubblicato su GitHub.