SEAL mostra come l'AI può pensare ed evolvere continuamente

L'intelligenza artificiale sta diventando sempre più versatile: genera immagini, scrive poesie e costruisce applicazioni. Tuttavia, rimane una limitazione chiave: i sistemi odierni faticano ad evolvere veramente oltre la loro programmazione iniziale. È proprio qui che entra in gioco un nuovo concetto del Massachusetts Institute of Technology (MIT). Chiamato SEAL, o Self-Adapting Language Models, questo framework consente ai modelli linguistici di grandi dimensioni di comportarsi più come esseri che apprendono. SEAL consente loro di elaborare nuove informazioni, di generare le proprie intuizioni e di aggiornare le proprie conoscenze in tempo reale, senza dover ricorrere a set di dati esterni o all'intervento estensivo degli sviluppatori. Il documento di ricerca è stato pubblicato il 12 giugno su arXiv.

Apprendimento continuo senza l'intervento dello sviluppatore

"Soprattutto nelle aziende, non è sufficiente recuperare i dati - i sistemi devono essere in grado di adattarsi continuamente", afferma il dottorando del MIT Jyothish Pari. SEAL è progettato per fare esattamente questo, utilizzando un processo continuo in due fasi. In primo luogo, l'AI riassume le nuove informazioni, genera esempi pertinenti e regola le sue impostazioni interne. Queste modifiche vengono definite "auto-modifiche"

Il sistema mette poi immediatamente alla prova le sue auto-modifiche: viene sottoposto a una breve riqualificazione con le nuove regolazioni e viene valutato per vedere se le sue risposte migliorano effettivamente. SEAL mantiene le modifiche solo se i risultati mostrano un chiaro aumento delle prestazioni. I test comparativi confermano l'efficacia di questo metodo: in un quiz di domande e risposte senza testo di supporto, l'accuratezza del modello Qwen 2.5-7B passa dal 33,5% al 47%. Nei puzzle ARC più impegnativi - compiti basati sulla logica del Corpus Abstraction & Reasoning - le prestazioni salgono addirittura al 72,5%, più del triplo del punteggio originale del modello.

Grazie a questo ciclo, SEAL si comporta quasi come un'entità pensante: ogni volta che si presentano nuovi fatti o domande, il modello 'riflette' su ciò che conta, genera i propri esempi e regola le impostazioni per applicare meglio ciò che ha imparato. Poiché questo processo si svolge continuamente, l'AI impara sempre. Non si affida più alla messa a punto di uno sviluppatore separato, ma utilizza i testi in arrivo come materiale di addestramento - generando i propri dati al volo.

SEAL sblocca diverse possibilità in una volta sola. In futuro, i chatbot potrebbero adattarsi naturalmente alle preferenze personali degli utenti, senza dover inviare dati sensibili a server esterni. Anche gli strumenti di sviluppo e di ricerca potrebbero evolversi in modo più indipendente, adattandosi ai mutevoli requisiti del progetto senza dover essere riqualificati ogni volta. E anche se i dati testuali disponibili pubblicamente dovessero scarseggiare, SEAL può generare il proprio materiale di addestramento attraverso esempi auto-creati, offrendo un modo intelligente per aggirare la potenziale carenza di dati.

Alto potenziale, ma non senza ostacoli

Sebbene SEAL sia molto promettente per far progredire lo sviluppo dell'AI, i ricercatori indicano tre sfide principali:

• In primo luogo, c'è il problema dell'oblio catastrofico: man mano che il modello integra continuamente nuove auto-modifiche, la sua capacità di eseguire i compiti precedenti diminuisce gradualmente. Lo studio mostra già i primi segni di questo effetto.
• In secondo luogo, il costo computazionale è notevole, in quanto ogni auto-modifica richiede una breve fase di messa a punto. Secondo lo studio, un ciclo completo richiede tra i 30 e i 45 secondi, aumentando in modo significativo il costo operativo dell'esecuzione di modelli di grandi dimensioni.
• In terzo luogo, la verifica dell'accuratezza delle auto-modifiche rimane una sfida. I test di performance valutano principalmente il suono convincente di una risposta, piuttosto che la sua effettiva correttezza. Gli utenti su Reddit hanno già sollevato il timore che il sistema possa accettare auto-modifiche plausibili ma errate come miglioramenti - e poi interiorizzare questi errori in modo permanente.