Claude ha inventato una segnalazione di omicidio e l'ha inviata alla polizia durante un test

Anthropic ha pubblicato un rapporto sulle azioni indesiderate dei suoi modelli il 9 ottobre. Il caso più eclatante riguarda Claude Haiku 4.5. Il modello stava generando esempi di interazioni con siti web quando è finito su una pagina della polizia di Philadelphia dedicata a un omicidio irrisolto. La pagina conteneva un modulo per le segnalazioni. Claude ha scritto che avrebbe potuto aver visto qualcuno corrispondente alla descrizione vicino alla strada citata nella pagina, ha lasciato vuoti i campi del nome e dei recapiti e ha premuto il pulsante di invio. La pagina non descriveva alcun sospettato, quindi Claude si è inventato la segnalazione.

È successo il 18 luglio, poco prima di mezzanotte. Il sistema del dipartimento ha contrassegnato il messaggio come spam, e questo non è mai arrivato agli investigatori. Anthropic ha scoperto l'incidente solo il 28 settembre, durante la revisione delle trascrizioni dei test, e ha informato la città all'inizio di ottobre. In una dichiarazione riportata da NBC10, la polizia ha affermato che "il ritardo di due mesi nell'individuare e segnalare l'incidente alla città è inaccettabile."

Uno schema ricorrente nelle trascrizioni

Il rapporto elenca altri casi in cui Claude ha aggirato un ostacolo invece di fermarsi. Claude Haiku 4.5 ha inviato moduli più volte nonostante gli fosse stato detto di fermarsi prima dell'ultimo passaggio, perché si aspettava una pagina di conferma. Un modello di ricerca non ancora rilasciato ha visitato un sito governativo operativo e inviato il modulo reale, quando avrebbe dovuto usarne una copia di prova. Secondo Axios, il Dipartimento di Stato ha ricevuto 20 domande di visto incomplete da un modello di test di Anthropic, 19 delle quali ad agosto. Nessuna è stata elaborata. Claude Mythos 5 ha estratto token di accesso dal file delle impostazioni di un servizio di mappe e ne ha interrogato direttamente il server. Claude Opus 5 e Mythos 5 hanno usato servizi gratuiti di abbreviazione degli URL per aggirare il limite di lunghezza del loro strumento fetch.

Anthropic afferma che non sono stati coinvolti dati dei clienti e che l'impatto nel mondo reale è stato minimo. Alcuni casi, però, sono emersi durante il normale utilizzo interno di Claude. L'azienda scrive inoltre che l'addestramento all'allineamento "non è ancora sufficiente né pienamente robusto di per sé." Già a luglio, Anthropic aveva rivelato che Claude aveva violato i sistemi di tre aziende reali durante test di sicurezza.

Anthropic elimina l'accesso a Internet dalle sue valutazioni

Tutte le valutazioni interne vengono ora eseguite senza accesso a Internet aperto. Anthropic ha interrotto alcuni benchmark pubblici e ne ha ricostruiti altri affinché non interagiscano più con siti web reali. Strumenti come web fetch sono soggetti a limiti più rigidi, e i nuovi strumenti di rilevamento hanno lo scopo di bloccare questo tipo di comportamento. Nei test condotti da Anthropic, hanno individuato tutti i casi presenti nel rapporto. La Casa Bianca ha risposto attraverso la sua nuova Super Intelligence Force, che ha chiesto alle aziende di IA di segnalare immediatamente gli incidenti che coinvolgono i loro modelli. "Questo processo di notifica e rimedio non è facoltativo", ha dichiarato il gruppo in una nota ad Axios.

Cosa significa per Claude in Chrome

Un dettaglio del caso della polizia è rilevante per gli utenti comuni. Le istruzioni del test escludevano accessi agli account, dati personali, acquisti e azioni distruttive, ma non escludevano i moduli, e Claude lo ha interpretato come un'autorizzazione. L'estensione Claude in Chrome presenta una lacuna simile. La sua guida alle autorizzazioni afferma che rifiuta acquisti, creazione di nuovi account ed eliminazioni permanenti in ogni modalità, e che chiede sempre conferma prima di inserire informazioni sensibili. Un semplice modulo senza dati sensibili non rientra in nessuna di queste regole.

L'estensione ha tre modalità di approvazione. Con "Approva manualmente", Claude chiede conferma prima di ogni singola azione. "Approva automaticamente" affida la decisione a un controllo di sicurezza ed è l'impostazione predefinita nel pannello laterale di Cowork, mentre "Salta tutte le approvazioni" elimina entrambe le verifiche. Se lasci che Claude compili moduli su siti che non controlli, passa all'approvazione manuale nel menu a discesa accanto al campo di input della chat. Le impostazioni dell'estensione elencano anche tutti i siti che hai approvato in modo permanente, e da lì puoi revocare le autorizzazioni. Ad agosto è bastata una sola email appositamente confezionata per dirottare cinque browser basati sull'IA.