Il chip AI Microsoft Maia 300 arriva con una colossale memoria HBM4 da 288 GB e una larghezza di banda di 18 TB/s

Microsoft ha presentato ufficialmente il Maia 300, il suo più recente acceleratore IA progettato su misura per ridurre la dipendenza dell'azienda dall'hardware di Nvidia e AMD. Arriva poco dopo il debutto di Jalapeno, il chip sviluppato internamente da OpenAI.  Il chip succede al Maia 200, lanciato all'inizio di quest'anno. Il primo chip Maia, il Maia 100, è apparso nel 2023. 

Il Maia 300 utilizza un design multi-chiplet che comprende una sezione di calcolo principale realizzata con l'avanzato processo N2P (2 nm) di TSMC. Il package integra anche chiplet separati per la memoria e l'I/O, consentendo a Microsoft di produrre i diversi componenti con processi adatti alle rispettive esigenze. Secondo Reuters, alcuni dei chip di supporto utilizzano un processo produttivo a 3 nm meno costoso.

L'acceleratore offre prestazioni di calcolo fino a 13,8 PFLOPS in FP4 e 6,9 PFLOPS con precisione FP8. La potenza nominale del SoC è pari a 950 W, nettamente superiore ai 750 W del Maia 200. Microsoft ha dotato il Maia 300 di otto stack HBM4, che offrono complessivamente 288 GB di memoria e 18 TB/s di larghezza di banda. Ogni stack contribuisce con 36 GB di capacità, mentre la memoria HBM4 opera a 9 Gb/s per pin. Per confronto, il Maia 200 dispone di 216 GB di memoria HBM3E con una larghezza di banda di 7 TB/s, rendendo il nuovo acceleratore utile per i carichi di lavoro di inferenza ad alta intensità di memoria.

Microsoft ha inoltre potenziato le capacità di interconnessione dell'acceleratore. Maia 300 offre 3,2 TB/s di larghezza di banda bidirezionale per lo scale-up e utilizza una rete a due livelli basata su Ethernet con un protocollo di trasporto personalizzato per l'IA. Un singolo rack ospita 96 acceleratori Maia 300, mentre l'architettura scale-up supporta cluster contenenti circa 12.000 acceleratori.

Al di là delle specifiche tecniche, Microsoft afferma che Maia 300 può fornire il 40% di token in più per megawatt rispetto ai principali sistemi di IA basati su GPU. Una configurazione completa con 96 acceleratori offrirebbe un throughput di token a livello di rack fino a sette volte superiore a quello di Maia 200. Tuttavia, l'azienda non ha fornito dettagli sufficienti sulle configurazioni GPU concorrenti per stabilire in modo indipendente l'entità del suo vantaggio in termini di efficienza.

Microsoft intende iniziare a implementare Maia 300 in ambienti di produzione nel 2027, con l'obiettivo di espandere progressivamente l'infrastruttura fino a raggiungere una capacità di diversi gigawatt. Reuters riferisce che l'azienda potrebbe mettere in servizio oltre un milione di chip Maia 300 il prossimo anno, evidenziando le sue ambizioni di diventare meno dipendente dagli acceleratori di IA di terze parti.