IA senza cloud: questo modello linguistico ora sta tutto sul vostro iPhone

I modelli linguistici di grandi dimensioni richiedono in genere un data center o, quanto meno, un PC potente dotato di memoria abbondante. La startup statunitense PrismML, fondata da ricercatori del Caltech e finanziata, tra gli altri, da Google e Khosla Ventures, ha presentato il Bonsai 27B : un modello di intelligenza artificiale con 27 miliardi di parametri, la cui versione più compatta occupa appena 3,9 GB. Per la prima volta, un modello di questa classe rientra nella memoria di un iPhone 17 Pro. La nostra guida IA senza cloud vi mostra come configurare un modello linguistico sul vostro computer.

Ridotto da 54 GB a meno di 4 GB

Si basa sul modello open source Qwen3.6 27B di Alibaba, che occupa circa 54 GB a piena precisione. PrismML memorizza ciascun peso della rete neurale utilizzando da 1 a 2 bit invece dei consueti 16. Il risultato sono due build: una versione ternaria da 5,9 GB nominali per i portatili e una versione a 1 bit da 3,9 GB per gli smartphone. Secondo il produttore, la variante per portatili mantiene il 95% delle prestazioni originali su 15 benchmark, mentre quella per smartphone ne conserva il 90%. La matematica e la programmazione rimangono praticamente inalterate. I pesi sono disponibili gratuitamente sotto licenza Apache 2.0 e funzionano tramite il framework MLX di Apple su iPhone, iPad e Mac, nonché tramite CUDA sulle schede grafiche NVIDIA.

Cosa è in grado di fare l’iPhone e dove si trovano i limiti

Secondo il white paper, la versione da 3,9 GB genera circa 11 token al secondo su un iPhone 17 Pro Max (, disponibile su Amazon). Una carica completa della batteria consente di generare circa 67.000 token. Dopo poco più di cinque minuti di utilizzo continuativo, il chip subisce un rallentamento. Tuttavia, i dati di benchmark provengono dallo stesso produttore. La tabella fornita dall’azienda stessa rivela le maggiori carenze nella comprensione delle immagini e nell’utilizzo degli strumenti, proprio le aree in cui gli agenti di IA devono eccellere. Inoltre, le dimensioni effettive dei file da scaricare per la versione per laptop variano da 7,2 a 8,5 GB a seconda del runtime, un valore significativamente superiore a quanto pubblicizzato. Non esiste ancora un’app pronta all’uso per gli utenti comuni. Per il momento, il gruppo target è costituito da sviluppatori e appassionati di tecnologia. Chiunque desideri semplicemente provare il modello può trovare una demo per browser su Hugging Face.

Apple sta già valutando questa tecnologia

Il CEO di PrismML, Babak Hassibi, ha dichiarato alla CNBC che Apple e altre aziende stanno attualmente testando i modelli in termini di velocità, consumo energetico e prestazioni. Ha descritto le trattative come in una fase molto iniziale. Per gli utenti, ciò che conta di più è la direzione: più l’IA viene eseguita direttamente sul dispositivo, meno dati personali finiscono nel cloud. Abbiamo già scritto in dettaglio su ciò che la vostra IA memorizza segretamente e di come è possibile impedirlo.