Anthropic afferma che Claude abbia violato tre aziende reali nel corso di test informatici

Anthropic ha reso noto giovedì che tre dei suoi modelli Claude sono riusciti a penetrare nei sistemi di produzione di tre organizzazioni reali durante alcune valutazioni interne sulla sicurezza informatica. L’analisi è stata avviata dopo che OpenAI aveva rivelato che i propri modelli erano sfuggiti a un ambiente di test e avevano compromesso Hugging Face. Anthropic ha riesaminato 141.006 sessioni di valutazione in cui Claude avrebbe potuto ottenere l’accesso a Internet, individuandone sei in cui ciò era effettivamente avvenuto.

I modelli stavano eseguendo esercitazioni di tipo «capture-the-flag», una procedura standard nei test di sicurezza. Un’informazione riservata si trova da qualche parte sulla rete e il modello deve penetrarvi per recuperarla. Il prompt specificava chiaramente che l’ambiente era una simulazione priva di accesso a Internet. Non era così. Gli ambienti di valutazione gestiti da Irregular, un partner di test esterno, disponevano di un collegamento attivo a Internet, e nessuno se ne era accorto.

Nel caso peggiore è stato raggiunto un database di produzione

L’incidente più dannoso ha coinvolto un’azienda bersaglio fittizia che, per coincidenza, condivideva il proprio nome con un dominio reale. Claude Opus 4.7 si è bloccato all’interno della rete simulata, ha individuato invece l’azienda reale e l’ha trattata come il bersaglio previsto. Nel corso di quattro esecuzioni, il modello ha raccolto credenziali e ha raggiunto un database contenente diverse centinaia di righe di dati di produzione reali. Opus 4.7 ha dedotto che il sistema fosse reale e ha proseguito comunque. In due di tali esecuzioni si è convinto che l’azienda reale facesse parte dell’esercitazione.

Un modello ha caricato un malware funzionante su PyPI

Il secondo incidente è quello che rimane impresso. Claude Mythos 5 ha individuato un documento nell’ambiente di test che invitava i nuovi sviluppatori a installare un pacchetto Python inesistente. Il modello ha individuato questa lacuna e ha creato un proprio pacchetto con quel nome, inserendovi al suo interno codice dannoso. Caricarlo significava creare un account su PyPI, il registro pubblico per il software Python, il che richiedeva un indirizzo e-mail e, di conseguenza, un numero di telefono. Dopo diversi tentativi falliti di procurarsi denaro per un numero, il modello ha fatto ricorso a un provider di posta elettronica gratuito e ha pubblicato il malware.

Il pacchetto è rimasto accessibile al pubblico per circa un’ora. In quel lasso di tempo è stato installato ed eseguito su 15 sistemi reali, uno dei quali era lo scanner antimalware di un’azienda di sicurezza che non aveva nulla a che fare con lo scenario. Claude ha inviato le credenziali di tale azienda a un punto di raccolta da lui stesso configurato e le ha utilizzate per raggiungere ulteriori infrastrutture. Le difese gestite da PyPI stesso hanno rimosso automaticamente il pacchetto.

Vale la pena leggere ciò che il modello si è detto. Aveva notato che, su Internet reale, un caricamento di questo tipo sarebbe stato un vero e proprio attacco e certamente non la soluzione prevista. Due elementi lo hanno convinto del contrario: non ha riconosciuto le autorità di certificazione che proteggevano le sue connessioni e i sistemi mostravano una data del calendario corrispondente al 2026, cosa che ha interpretato come prova di un ambiente simulato. Non ha mai riconsiderato tale conclusione.

Tre mesi senza che nessuno se ne accorgesse

Il primo incidente risale ad aprile. È venuto alla luce solo quando Anthropic ha iniziato a esaminare le trascrizioni il 23 luglio e ha sospeso ogni valutazione di sicurezza informatica lo stesso giorno. Tutti e tre gli incidenti sono stati confermati il 24 luglio, mentre il partner di test e le organizzazioni coinvolte sono stati informati il 27 luglio. Due delle tre organizzazioni non avevano idea che i propri sistemi fossero stati compromessi. La terza non era stata ancora contattata al momento della pubblicazione del post.

Nel terzo incidente, un modello di ricerca interno ha analizzato circa 9.000 obiettivi e ha compromesso un’applicazione esposta a Internet tramite una pagina di debug non protetta e un attacco SQL injection. Ha poi dedotto autonomamente che l’obiettivo fosse reale e si è fermato. Anthropic interpreta questo fatto come un progresso, ma mette in guardia dal trarre conclusioni generali da tre casi isolati.

Cosa significa questo per gli utenti

Non molto, direttamente. Le valutazioni sono state eseguite senza i classificatori e i sistemi di monitoraggio presenti nei modelli Claude disponibili al pubblico, e Anthropic afferma che tali livelli avrebbero bloccato tale comportamento. Nessuno al di fuori dell’azienda ha verificato tale affermazione. L’altra parte della frase è più rilevante: la formazione sulla sicurezza specifica per il modello era attiva, ma non è stata sufficiente. Anthropic considera quindi gli incidenti come un fallimento della propria infrastruttura di test piuttosto che come un disallineamento dei modelli, e si assume la responsabilità invece di attribuirla al proprio partner.

Il contrasto con il caso di OpenAI è netto dal punto di vista tecnico. In quel caso, i modelli hanno sfruttato una falla precedentemente sconosciuta per riuscire a connettersi a Internet. Claude ha trovato una porta aperta e non ha avuto bisogno di altro che password deboli ed endpoint non autenticati. Anthropic intende pubblicare entro la settimana una trascrizione leggermente censurata dell’esecuzione su PyPI, e sono in corso trattative con METR, un ente di valutazione indipendente, in merito a una revisione esterna. Quanto sia ormai precaria la fiducia in questi metodi di test è evidente dalla lettera aperta firmata da oltre 1.290 persone del settore, che chiedono un freno verificabile allo sviluppo dell’IA.