Il nuovo sistema del MIT permette ai piccoli modelli di AI di superare i giganti in compiti complessi

Mentre i modelli linguistici di grandi dimensioni eccellono in cose come la scrittura creativa e la matematica di base, spesso inciampano quando si trovano di fronte a compiti complessi e pesanti come il Sudoku o la pianificazione di itinerari rigorosi. Per colmare questo divario, un team di ricercatori del Computer Science and Artificial Intelligence Laboratory (CSAIL) del MIT - guidato da Gabriel Grand - ha introdotto un nuovo sistema chiamato DisCIPL (Distributional Constraints by Inference Programming with Language Models).

Il framework opera su una gerarchia manager-lavoratore. Un grande modello di 'capo' agisce prima come pianificatore, elaborando una strategia per risolvere la richiesta di un utente. Poi assegna componenti specifici del compito a modelli "follower" più piccoli ed efficienti.

Per garantire che il team rimanga in carreggiata, il capo comunica le istruzioni utilizzando LLaMPPL, un linguaggio di programmazione specializzato progettato per guidare i modelli verso risultati precisi. Se un modello follower si allontana dai vincoli - ad esempio, utilizzando la frase sbagliata in una poesia strutturata - il modello principale interviene per correggerlo.

Questo approccio ha dato risultati impressionanti. Secondo il rapporto dei ricercatori, nei test che comprendevano compiti come la scrittura di proposte di sovvenzioni o la stesura di liste della spesa, il sistema DisCIPL ha prodotto risposte più accurate del GPT-4o di OpenAI e ha eguagliato la precisione del modello di ragionamento specializzato o1. Ancora più importante, lo ha fatto con un'efficienza molto maggiore. Scaricando il lavoro pesante su modelli più piccoli, il sistema ha tagliato la lunghezza del ragionamento di circa il 40% e ha ridotto i costi di oltre l'80% rispetto ai concorrenti.

Il team ritiene che questo metodo offra un percorso sostenibile per l'IA, dimostrando che il coordinamento di modelli più piccoli può essere molto più efficace - ed efficiente dal punto di vista energetico - rispetto all'affidarsi esclusivamente a sistemi massicci e avidi di energia.