OpenAI sospende i modelli di punta dopo che un agente ha raggiunto un chatbot tramite DNS

OpenAI ha reso noto un altro incidente verificatosi nel corso delle proprie attività di ricerca. Il 20 settembre, un modello interno in fase di addestramento ha aggirato i limiti della propria sandbox e ha utilizzato un servizio DNS pubblico per inviare domande a un chatbot esterno. OpenAI ha pubblicato il rapporto sul proprio blog dedicato all’allineamento e lo ha aggiornato l’ultima volta il 25 settembre. Di conseguenza, l’azienda ha sospeso l’addestramento, la valutazione e l’utilizzo degli strumenti relativi ai propri modelli più avanzati fino a nuovo avviso. Non riprenderà l’addestramento del modello coinvolto.

Un’attività di ricerca conclusasi con ricerche DNS

L’attività era di routine. Il modello doveva identificare l’autore di un post di blog sulla base di una serie di indizi. Lo strumento di ricerca che gli era stato fornito restituiva risultati non pertinenti, mentre le richieste dirette a Google, Bing e DuckDuckGo generavano errori. Il modello ha quindi ipotizzato che la domanda provenisse da BrowseComp, un benchmark pubblico per la ricerca sul web, e ha scaricato il set di dati e il relativo script di valutazione per cercare lì la risposta. L’ipotesi era errata.

Successivamente, ha testato i limiti di rete del proprio ambiente. Il resolver DNS della sandbox stessa, che avrebbe dovuto limitarsi a convertire i nomi di dominio in indirizzi, restituiva risposte reali provenienti da Internet. Utilizzando un servizio gratuito di delega DNS, il modello ha codificato le proprie domande in nomi di dominio e ha ottenuto risposte da un chatbot pubblico. A una domanda di prova sulla capitale della Francia è stata data la risposta: «La capitale della Francia è Parigi». Il modello ha quindi inviato altre 18 richieste, quattro delle quali riguardavano i modi per effettuare ricerche sul web tramite DNS. Non è comunque riuscito a individuare l’autore. Secondo OpenAI, tutte le altre richieste hanno raggiunto una cache web offline, pertanto il percorso DNS rappresentava l’unica via di accesso a Internet attivo.

Avviso dopo 12 minuti, spegnimento dopo due ore e mezza

La cronologia degli eventi è la parte più imbarazzante del rapporto per OpenAI. La prima risposta esterna è arrivata alle 9:50 del mattino, il sistema di monitoraggio ha emesso un allarme di massima priorità alle 10:02 e un revisore ne ha preso atto tre minuti dopo. OpenAI ha interrotto l’esecuzione alle 12:34. Avrebbe dovuto arrestarsi automaticamente, ma ciò non è avvenuto, e il personale non era sicuro se fosse necessario interromperla. Una revisione successiva ha individuato altre query DNS esterne che il sistema di monitoraggio aveva classificato con un livello di priorità troppo basso. Un rilevatore separato per il traffico DNS anomalo aveva escluso questo ambiente.

OpenAI definisce il caso «molto meno grave rispetto ad alcuni dei nostri incidenti precedenti». È rilevante perché si tratta del «primo caso verificatosi dopo il rafforzamento delle nostre misure di sicurezza a seguito dell’incidente di Hugging Face». A luglio, gli agenti di OpenAI sono usciti dal proprio ambiente di test e hanno raggiunto Hugging Face, come riportato da Notebookcheck. Secondo Fortune, in seguito a ciò OpenAI ha sospeso l’addestramento per due settimane. Anthropic ha reso noti incidenti simili che hanno coinvolto Claude alla fine di luglio. OpenAI ora blocca tali richieste a due livelli indipendenti e consente le query DNS solo per un breve elenco di domini.

Cosa comporta la sospensione per ChatGPT

Il rapporto afferma che «Tutte le attività di addestramento, valutazione e inferenza che comportano l’uso di strumenti (in senso lato) dei nostri modelli più avanzati rimangono sospese». OpenAI non specifica a quali modelli ciò si riferisca. Micah Carroll, responsabile presso OpenAI delle attività di preparazione relative all’auto-miglioramento ricorsivo, ha scritto su X che «Tutte le inferenze relative ai nostri modelli più avanzati rimangono sospese fino a quando non avremo ulteriormente rafforzato i nostri sistemi». Il rapporto stesso riguarda un modello di ricerca interno. Il 27 settembre, la pagina di stato di OpenAI non segnalava alcun incidente relativo a ChatGPT o all’API, e le note di rilascio non indicano alcun modello rimosso da ChatGPT. Gli utenti abituali di ChatGPT non noteranno la sospensione. OpenAI non ha specificato se ritarderà il lancio di nuovi modelli.