inferenza 10 volte più veloce rispetto alla HBM4: d-Matrix unisce le forze con AIchip per produrre la prima DRAM 3D al mondo

La presa di Nvidia sull'intera infrastruttura hardware dell'AI è ancora forte, ma molte aziende stanno cercando di offrire alternative efficienti. Un paio di anni fa, quando Nvidia stava lottando per soddisfare la crescente domanda di hardware per l'inferenza, d-Matrix è emersa e ha colto l'opportunità di posizionarsi come fornitore affidabile di hardware per l'AI generativa nello spazio dei data center. La sua prima scheda di calcolo dedicata - la Corsair C8è stata accolta positivamente e l'azienda prevede ora di lanciare un modello successivo che integri la prima DRAM 3D prodotta in serie al mondo.

d-Matrix ha collaborato con un'infrastruttura AI ad alte prestazioni ASIC aIchip di Taiwan per sviluppare la soluzione 3D DRAM, che si dice "elimini i colli di bottiglia di prestazioni e costi che limitano l'infrastruttura AI di oggi" Questo nuovo tipo di RAM, noto come 3DIMC (3D stacked digital in-memory compute) è attualmente testata sui chip Pavehawk di d-Matrix.

Il primo prodotto commerciale ad essere dotato di DRAM 3D-stacked dovrebbe essere l'acceleratore di inferenza Raptor di d-Matrix (link affiliato a Nvidia Jetson AGX), che sostituirà gli attuali modelli Corsair. d-Matrix stima che la soluzione 3DIMC potrebbe fornire velocità di inferenza fino a 10 volte superiori a quelle della più veloce HBM4-più veloci basati su HBM.

Sid Sheth, co-fondatore e CEO di d-Matrix, spiega che la DRAM impilata in 3D rappresenta "una svolta che rende l'AI non solo più veloce, ma anche più conveniente e sostenibile su scala. 3DIMC rappresenta il prossimo passo logico nella nostra tabella di marcia verso la fornitura di architetture di inferenza efficienti che tengano il passo con la crescita esponenziale dell'AI generativa e agenziale"