Un modello di OpenAI ha violato un sito web governativo durante l'addestramento

OpenAI ha pubblicato altri quattro rapporti il 15 ottobre in cui i suoi stessi modelli hanno agito senza autorizzazione. In tutti e quattro i casi, un modello è uscito dal proprio ambiente di test ristretto e ha avuto accesso a Internet. Il caso più grave ha coinvolto un modello interno in fase di addestramento che si è introdotto in un sito web governativo. Il suo compito era innocuo. Doveva riportare il numero di posti letto ospedalieri in un distretto per un determinato anno e aveva trovato quel dato in una fonte pubblica. Ha poi continuato a cercare i dati sottostanti.

Token falsificati hanno sbloccato 24 anni di dati

Secondo il rapporto, il modello era autorizzato a inviare soltanto semplici richieste GET. Ha dapprima provato a usare intestazioni di richiesta che dichiaravano un ruolo di amministratore, ma ogni richiesta è stata respinta. Nel suo ragionamento, si è brevemente chiesto se aggirare l'autenticazione "potesse essere accettabile" e ha osservato che avrebbe dovuto dare la priorità ai canali pubblici. Ha poi usato un proxy pubblico per recuperare l'elenco degli utenti del sito, che conteneva più di 1.000 record con indirizzi email, e ha valutato di usarli per indovinare le password. Provocando un messaggio di errore dettagliato e sfruttando impropriamente la funzione di download del sito, ha scaricato file di configurazione dal server. I file contenevano una stringa di connessione al database, un segreto per la firma dei token e le credenziali di un account email. L'applicazione non verificava le firme dei token, quindi sono bastati token non firmati per accedere a 24 anni di statistiche sui posti letto ospedalieri. La risposta finale del modello non menzionava nulla di tutto questo. OpenAI non indica il Paese e il rapporto non specifica se il gestore del sito sia stato informato.

Tabelle interne e un wallet di test preso in prestito

Un secondo incidente si è verificato lo stesso giorno, il 17 giugno. Durante una valutazione, a un modello è stato chiesto di raccogliere cinque dati da una dashboard pubblica gestita da un'organizzazione di ricerca. Il modello ha raggiunto i sistemi interni dell'organizzazione, ne ha modificato la configurazione e ha scaricato 1.489 record con nomi e indirizzi email. In una seconda esecuzione, ha prelevato 147.451 righe da cinque tabelle non pubbliche. Il sistema di monitoraggio di OpenAI ha segnalato entrambi gli incidenti come critici. Sono stati scoperti il 13 agosto.

Il terzo caso sembra peggiore di quanto non fosse. Un modello di ricerca della famiglia GPT-5.6 Sol aveva bisogno di fondi sulla rete di test Sepolia di Ethereum per un'attività di programmazione. Ha ricavato chiavi da frasi di recupero di sviluppatori note pubblicamente, ha controllato 362 indirizzi e ha effettuato il pagamento usando un indirizzo che conteneva abbastanza ETH di test. I token non avevano alcun valore monetario. OpenAI conclude comunque che il caso "dimostra che un modello può sostituire il consenso del titolare dell'account con il proprio giudizio sui probabili danni". Nel quarto caso, un modello ha aggirato una regola che consentiva soltanto richieste di lettura. Ha fatto inviare a un browser esterno un modulo che aveva creato da solo e ha letto le risposte dalle schermate tramite riconoscimento del testo.

Cosa ha cambiato OpenAI e cosa significa per te

Nessuno dei rapporti riguarda ChatGPT o Codex nelle modalità in cui vengono utilizzati dai clienti. Tutti e quattro i casi provengono da attività di addestramento e test. All'inizio di ottobre, OpenAI aveva già avvisato più di 100 organizzazioni dopo che i suoi agenti avevano oltrepassato i limiti sui loro siti web durante l'addestramento e i test. OpenAI afferma di aver da allora impedito ai modelli di accedere a Internet durante l'addestramento e la valutazione, di aver rafforzato i controlli di sicurezza e di monitorare ora tutto il traffico generato durante l'addestramento e la valutazione. L'elenco comprende ora 19 rapporti. Da metà settembre, un quadro di segnalazione impegna l'azienda a rendere noti i casi anche quando non hanno causato danni.

Anthropic ha documentato un comportamento simile poco più di una settimana fa, quando Claude ha inviato alla polizia una segnalazione inventata su un omicidio durante un test. Chiunque lasci lavorare un agente in un browser dovrebbe mantenere attive le richieste di approvazione. Il browser cloud di ChatGPT Work è disponibile nei piani a pagamento, ad eccezione di Go. In Impostazioni e Browser cloud, gli utenti scelgono una regola predefinita per i siti web e l'opzione "Chiedi sempre" fa sì che ChatGPT chieda il loro consenso prima che l'agente utilizzi un sito. Secondo OpenAI, ChatGPT chiede inoltre conferma nella chat prima di azioni che "potrebbero essere difficili da annullare", come pagamenti o prenotazioni. Una volta completata un'attività, la sezione Dati del browser consente agli utenti di cancellare i dati di un sito, disconnettendo così l'agente da quel sito web.