Axera AX8860P punta a sfidare Nvidia DGX Spark con un acceleratore IA proprietario

Il DGX Spark di Nvidia ha un improbabile concorrente dalla Cina (segnalato da CNX Software). Il produttore di chip Axera ha presentato la serie AX8860, una famiglia di processori incentrati sull'IA progettati per eseguire modelli linguistici di grandi dimensioni in locale. I chip saranno impiegati in computer compatti per l'IA di produttori come Sipeed e Radxa; la prima sostiene che il suo prossimo MaixStation possa superare il DGX Spark di Nvidia in determinati carichi di lavoro.

L'Axera AX8860P è dotato di 16 core CPU Arm Cortex-A55 e di un'unità di elaborazione neurale (NPU) dedicata in grado di offrire fino a 256 TOPS di potenza di calcolo FP4. Prodotto con un processo a 6 nm, il chip supporta fino a 128 GB di memoria LPDDR5X tramite un'interfaccia a 256 bit, offrendo una larghezza di banda massima di 273 GB/s. Le altre specifiche includono connettività PCIe 5.0, interconnessioni chip-to-chip AXLink e ampie capacità di codifica e decodifica video.

Al centro delle capacità di IA dell'AX8860P c'è l'architettura proprietaria AXNeutron di Axera. A differenza della GPU Blackwell presente nel DGX Spark di Nvidia, AXNeutron è un'architettura di elaborazione neurale sviluppata appositamente, che Axera descrive come basata su un flusso di dati programmabile ottimizzato per l'inferenza IA. L'azienda sostiene che questo approccio migliori l'utilizzo dell'hardware e riduca gli spostamenti di dati non necessari, offrendo potenzialmente vantaggi nell'esecuzione di modelli linguistici basati su Transformer.

Tuttavia, Axera ha rivelato relativamente poco sull'hardware alla base della NPU. È quindi difficile determinare quanto delle prestazioni dichiarate derivi da miglioramenti architetturali, dalla larghezza di banda della memoria o da ottimizzazioni a livello software. Il valore pubblicizzato di 256 TOPS è impressionante sulla carta, ma ci dice relativamente poco sulle prestazioni sostenute con carichi di lavoro reali.

Sipeed (sì, lo so), che sta sviluppando la MaixStation basata su AX8860P, afferma che la sua implementazione può superare il DGX Spark di Nvidia in alcuni benchmark di inferenza LLM. L'azienda attribuisce i risultati in parte all'accelerazione FP4 densa nativa dell'AX8860P e a un utilizzo più efficace della larghezza di banda della memoria disponibile. Inoltre, i benchmark di Sipeed sono forniti dal produttore e riguardano modelli e configurazioni di inferenza specifici. Senza test indipendenti condotti con modelli, impostazioni di quantizzazione e ambienti software identici, non è possibile stabilire se l'AX8860P superi sistematicamente il DGX Spark.

Il supporto software include la compatibilità con i framework di IA più diffusi, tra cui PyTorch, vLLM e SGLang, ma la compatibilità non si traduce necessariamente in prestazioni, supporto delle funzionalità o facilità di distribuzione equivalenti.

Sipeed prevede di offrire la sua MaixStation con 32 GB e 128 GB di memoria LPDDR5X. L'azienda punta a prezzi inferiori rispettivamente a 2.000 e 4.000 dollari, con una campagna Kickstarter prevista verso la fine del 2026. Anche Radxa sta sviluppando un Pocket Supercomputer basato su AX8860P, mentre Sipeed ha delineato piani per configurazioni di acceleratori multi-chip.