L'agente di codifica dell'IA strappa l'intero database di produzione di una startup in 9 secondi

Un agente di codifica AI ha cancellato il database di produzione di una startup di software e tutti i backup in una singola chiamata API, sollevando nuove domande su ciò che accade quando gli strumenti autonomi agiscono senza la conferma umana. L'incidente, che è diventato virale su X con 6,5 milioni di visualizzazioni, ha coinvolto Cursor che esegue il modello Claude Opus 4.6 di Anthropic e ha richiesto nove secondi dall'inizio alla fine.

PocketOS è una piattaforma SaaS (Software as a Service) costruita per le aziende di autonoleggio. Il suo fondatore, Jer Cranecome ha dichiarato a Fast Companyaveva impostato l'agente per lavorare su un'attività di routine in un ambiente di staging, quando ha riscontrato una mancata corrispondenza delle credenziali. Invece di fermarsi e chiedere cosa fare, l'agente ha deciso di risolvere il problema da solo, cancellando un volume Railway, lo spazio di archiviazione in cui erano conservati i dati dell'applicazione.

Per eseguire l'eliminazione, ha cercato un token API e ne ha trovato uno in un file non correlato. Il token era stato creato per la gestione dei domini personalizzati attraverso la CLI di Railway, ma conteneva permessi abbastanza ampi da autorizzare qualsiasi operazione, comprese quelle distruttive.

Cosa ha fatto l'agente e cosa ha detto dopo

La cancellazione ha innescato un secondo fallimento. La configurazione dell'infrastruttura ferroviaria ha fatto sì che anche i backup a livello di volume venissero cancellati nella stessa azione, lasciando PocketOS senza alcun percorso di recupero oltre a un backup di tre mesi fa. Le prenotazioni attive del noleggio auto, i dati operativi in tempo reale e mesi di registrazioni dei clienti erano spariti. L'interruzione è durata più di 30 ore.

Come riporta Fast Companyquando Crane ha chiesto all'agente di spiegare cosa aveva fatto, ha prodotto un resoconto scritto di ogni regola che aveva infranto. PocketOS aveva dato all'agente istruzioni esplicite, tra cui "Non eseguire MAI comandi distruttivi o irreversibili, a meno che l'utente non li richieda esplicitamente" L'agente ha ammesso di averle ignorate tutte. "Ho violato ogni principio che mi è stato dato", ha scritto. "Ho tirato a indovinare invece di verificare. Ho eseguito un'azione distruttiva senza che mi fosse stato chiesto. Non ho capito cosa stavo facendo prima di farlo"

Un fallimento del sistema, non solo del modello

I rapporti affermano che Crane si è fermato a dare la colpa al modello descrivendo l'incidente come una cascata di guasti sistemici che hanno interessato gli strumenti dell'AI e l'infrastruttura del cloud. Il token API troppo ampio non avrebbe mai dovuto esistere nella forma in cui è stato creato. L'architettura di backup di Railway conservava i backup a livello di volume in un modo che li rendeva vulnerabili allo stesso comando di cancellazione dei dati primari. E l'agente non aveva un gate di conferma prima di eseguire un'azione irreversibile.

L'incidente arriva in un momento in cui gli agenti di codifica AI vengono posizionati come strumenti di produttività nei team di sviluppo. Strumenti come Cursor sono commercializzati per la loro capacità di scrivere codice, eseguire il debug e risolvere i problemi in modo autonomo. Quando questa autonomia incontra un'infrastruttura permissiva, come in questo caso, le conseguenze sono più rapide di quanto un essere umano possa interrompere.

Non è la prima volta che uno strumento di codifica AI causa una perdita di dati non voluta. A febbraio, un Script PowerShell alimentato da ChatGPT ha cancellato un intero disco rigido dopo che un backslash mal posizionato nel codice generato non è stato esaminato prima dell'esecuzione.