Talaas HC1: il chip efficiente batte ogni GPU nell'accelerazione AI locale

Nell'industria tecnologica, soprattutto nella progettazione dei processori, è possibile trovare un certo equilibrio tra universalità e prestazioni. Sebbene i chip o i sistemi informatici possano essere costruiti per offrire l'universalità e quindi eseguire un'ampia varietà di compiti, di solito è anche possibile progettare e ottimizzare i sistemi per applicazioni altamente specifiche. Nel caso di un chip per computer, la sua intera architettura può essere progettata intorno a tipi di dati definiti, senza alcun meccanismo per gestire i casi speciali. Questo concetto potrebbe suonare familiare ad alcuni di voi: Nel crypto mining, ad esempio, le CPU e le GPU di uso generale sono state in gran parte sostituite dagli ASIC, che sono estremamente efficienti nel loro singolo compito, ma inutilizzabili per qualsiasi altra cosa.

Uno sviluppo simile sta emergendo nell'accelerazione dell'AI. I processori con NPU integrate hanno già raggiunto il mercato consumer. L'azienda Taalas ha recentemente presentato l'HC1, un chip non progettato per accelerare qualsiasi modello di AI, ma uno molto specifico: il relativamente piccolo Llama 3.1 8B. Nonostante la sua specializzazione, rimane possibile un certo grado di messa a punto. Secondo Taalas, il chip può raggiungere 16.960 token al secondo, rispetto ai 353 token al secondo forniti da Nvidia B200. Rispetto al Cerebras WSE-3, l'HC1 sembra offrire prestazioni dieci volte superiori, consumando meno energia - per non parlare del costo circa 20 volte inferiore. I prezzi e la disponibilità non sono ancora stati annunciati.