GuppyLM: chiunque può addestrare questa piccola IA

Mentre i modelli di intelligenza artificiale diventano sempre più grandi, più costosi e più opachi, GuppyLM va nella direzione opposta - per design. Questo piccolo progetto open-source è un modello linguistico con solo circa 8,7 milioni di parametri, molto meno dei moderni modelli di punta, e si identifica come un pesce di nome Guppy. Guppy conosce solo la vita in un acquario. L'obiettivo non è quello di competere con ChatGPT o con altri modelli di grandi dimensioni. Invece, GuppyLM vuole dimostrare che un LLM non deve essere misterioso - e che l'addestramento non richiede necessariamente una conoscenza esperta.

GuppyLM è stato addestrato su 60.000 conversazioni sintetiche. In termini di contenuto, il modello è molto limitato, ma è proprio questo che lo rende straordinariamente coerente. Guppy parla con frasi brevi e minuscole e non capisce le astrazioni umane come la politica, il denaro o il telefono. Poiché questa personalità è saldamente integrata nel modello, Guppy rimane sempre all'interno della sua prospettiva di pesce. GitHub offre anche una demo per browser in cui il modello viene eseguito localmente nel browser. In alternativa, la versione preaddestrata può essere lanciata tramite Colab o essere eseguita localmente con Python. Chi vuole fare un passo avanti può anche addestrare il proprio mini LLM direttamente con il notebook Colab preparato - un ambiente di programmazione basato su browser.

Il processo di addestramento in sé è relativamente semplice. Il modello viene alimentato con un gran numero di coppie di esempi costituiti da un input e da una risposta corrispondente. Nel modello GuppyLM pre-addestrato, questi esempi includono saluti, domande sul cibo, sull'acqua, sulla luce, sul sonno o sul significato della vita - tutti dalla prospettiva di un piccolo pesce. Da questi esempi, il modello impara quale token deve venire dopo. In parole povere, i token sono piccole unità di testo in cui le parole vengono suddivise. Durante ogni fase di addestramento, il modello confronta la sua previsione con la risposta desiderata e regola i suoi pesi interni di conseguenza. In questo modo, GuppyLM impara gradualmente come dovrebbe parlare un pesce.