Il principale autore del rapporto sulla sicurezza di OpenAI si dimette e definisce disfunzionale la cultura aziendale

David Robinson ha lasciato OpenAI e ha pubblicato un saggio su The Atlantic intitolato «Mi sono dimesso da OpenAI perché la sua cultura è guasta». Ha lavorato per tre anni e mezzo nell’azienda, che, a suo dire, lo rende uno dei dipendenti con più anzianità di servizio. Robinson ha guidato la stesura dei rapporti sulla sicurezza che OpenAI pubblica a ogni lancio importante, ha supervisionato quei rapporti per 12 lanci di modelli di frontiera e ha guidato la stesura dell’attuale Preparedness Framework. Il saggio è uscito il 3 ottobre.

Il problema dello sviluppo iterativo

Il bersaglio principale di Robinson è l’approccio che OpenAI chiama sviluppo iterativo. L’azienda rilascia i sistemi, cerca eventuali problemi e poi migliora le misure di sicurezza. A suo avviso, questo metodo garantisce fallimenti periodici, la cui portata cresce man mano che i sistemi diventano più capaci. Cita l’incidente di Hugging Face di quest’estate, in cui OpenAI ha lasciato uscire per errore uno sciame di agenti. In seguito, un modello in fase di addestramento è riuscito ad aggirare le restrizioni sull’accesso a Internet. Un sistema di monitoraggio ha avvisato il personale, ma non ha spento il modello come avrebbe dovuto. Robinson aggiunge che anche Anthropic ha ammesso di aver disattivato le proprie misure di sicurezza a causa di una configurazione errata e considera errori di questo tipo tipici del settore.

Secondo lui, i laboratori dovrebbero essere gestiti come centrali nucleari

Per lui, le nuove leggi non bastano. Vuole un cambiamento culturale. Scrive che i laboratori che sviluppano modelli di frontiera dovrebbero operare come centrali nucleari o aeroporti molto trafficati, con più livelli di ridondanza, così che un singolo errore umano non provochi un disastro. Dice di «non aver mai incontrato un collega con esperienza nel far volare gli aerei in sicurezza o nel far funzionare i reattori nucleari senza che fondessero». Chiede inoltre nuove ricerche prima di costruire modelli molto più capaci, perché i test attuali non consentono di stabilire con affidabilità se un modello segua i valori umani. I modelli potrebbero accorgersi di essere sottoposti a test e comportarsi diversamente una volta messi in uso.

Apprezzamento per i colleghi, critiche ai ritmi

Il saggio non è un attacco generalizzato. Robinson descrive i suoi ex colleghi come persone intelligenti e laboriose, che cercano di fare le scelte giuste. Definisce inoltre la tecnologia utile e preziosa. Il suo problema è la velocità con cui OpenAI passa da un lancio al successivo. Dice di aver assunto l’agenzia di pubbliche relazioni Spitfire Strategies dopo le dimissioni. Il portavoce di OpenAI Drew Pusateri ha dichiarato a TechCrunch che l’azienda «si assicura che i nostri modelli non diventino più capaci di quanto siamo in grado di gestire in sicurezza» e che interrompe l’addestramento o trattiene i modelli quando è necessario rallentare.

Cosa significa per gli utenti di ChatGPT

Per gli utenti, nell’immediato non cambia nulla. I rapporti sulla sicurezza supervisionati da Robinson, spesso chiamati system card, sono i documenti in cui OpenAI spiega quali rischi ha testato per ogni nuovo modello e quali misure di sicurezza si applicano. Sono la documentazione pubblica più dettagliata su come è stato verificato un modello prima del rilascio. Robinson se ne va mentre OpenAI lancia Dots, agenti che operano in modo continuativo sui propri computer cloud per conto degli utenti. Il 3 ottobre è inoltre emerso che OpenAI aveva avvisato oltre 100 organizzazioni riguardo ai propri agenti di test. Secondo Robinson, questo tipo di fallimento diventa più frequente e più grave a ogni salto di capacità.