La Cina presenta SpikingBrain 1.0, un LLM ispirato al cervello che funziona su chip MetaX nazionali

L'Istituto di Automazione dell'Accademia Cinese delle Scienze a Pechino ha recentemente presentato il suo nuovissimo modello linguistico SpikingBrain 1.0 di grandi dimensioni. Si sostiene che questo LLM sia il primo LLM al mondo "simile a un cervello", progettato per utilizzare una quantità di energia significativamente inferiore rispetto ai sistemi AI convenzionali, come ChatGPT. Invece di affidarsi all'hardware Nvidia, funziona interamente su chip MetaX di produzione cinese, segnando un progresso significativo nell'informatica neuromorfa.

Il sistema utilizza la tecnologia "spiking computation", che imita i modelli di sparo dei neuroni del cervello umano. Questa tecnologia consente di attivare solo i neuroni necessari, anziché l'intera rete, come nei modelli tradizionali. Questo approccio guidato dagli eventi mantiene il sistema efficiente dal punto di vista energetico, riducendo il consumo di energia. Il sistema può anche apprendere da un minuscolo due percento dei dati di addestramento richiesti rispetto ai sistemi convenzionali. Sono state sviluppate due versioni: una con 7 miliardi e un'altra con 76 miliardi di parametri.

I ricercatori riferiscono di prestazioni fino a 100 volte superiori rispetto ai modelli tradizionali in alcuni compiti, con il modello più piccolo che risponde a un prompt di 4 milioni di token almeno 100 volte più velocemente rispetto ai sistemi standard. Inoltre, c'è un miglioramento della velocità di 26,5 volte rispetto alle architetture Transformer convenzionali per la prima generazione di token. Il nuovo modello è stato addestrato su circa 150 miliardi di token, solo una frazione dei requisiti tipici dei sistemi convenzionali. Nonostante la riduzione dei dati di addestramento, il sistema ha ancora prestazioni comparabili a quelle di altre popolari alternative open-source.

Il nuovo sistema ha un'importanza strategica per la Cina, dato che l'LLM opera interamente all'interno dell'ecosistema AI cinese, utilizzando la piattaforma chip MetaX. Ciò diventa particolarmente importante in quanto gli Stati Uniti hanno inasprito i controlli sulle esportazioni di chip AI avanzati. La ricerca dimostra anche che è possibile addestrare un modello efficiente di grandi dimensioni su piattaforme non Nvidia. Il ricercatore principale Li Guoqi evidenzia anche l'ottimizzazione per l'architettura dei chip cinesi. Le potenziali applicazioni di questi sistemi includono documenti legali, cartelle cliniche e persino simulazioni scientifiche.

Il team ha reso disponibile la versione più piccola del modello per l'accesso pubblico, mentre la versione più grande è disponibile solo online per i test pubblici tramite un sito demo. La ricerca è anche pubblicata come documento non sottoposto a revisione paritaria sul repository arXiv, quindi è meglio prendere tutte queste affermazioni con un grano di sale. Tuttavia, questa scoperta potrebbe aprire la strada a sistemi di intelligenza artificiale più efficienti dal punto di vista energetico e far progredire gli approcci informatici ispirati al cervello.