Il mini PC RTX Spark promette di superare i limiti di memoria grazie all'insolito SSD per l'IA di Mechrevo

Il produttore cinese di PC Mechrevo si prepara a lanciare un nuovo mini PC chiamato Master Road X10. A differenza dei mini PC convenzionali, il Master Road X10 è progettato principalmente per eseguire modelli di IA di grandi dimensioni in locale e presenta alcuni accorgimenti interessanti che potrebbero effettivamente rivelarsi utili. Il Master Road X10 utilizza la piattaforma RTX Spark di Nvidia, che combina una CPU Grace a 20 core con una GPU Blackwell dotata di un massimo di 6.144 core CUDA. Supporta fino a 128 GB di memoria unificata LPDDR5X.

Queste sono le specifiche massime della piattaforma e Mechrevo deve ancora confermare la configurazione esatta del suo mini PC. Tuttavia, la caratteristica più interessante è l'SSD AI proprietario di Mechrevo. Invece di affidarsi esclusivamente alla memoria di sistema, questa tecnologia può trasferire porzioni di modelli di IA di grandi dimensioni dalla DRAM alla memoria flash NAND. Può inoltre conservare e riutilizzare il contesto elaborato in precedenza, riducendo teoricamente i calcoli ridondanti e il sovraccarico legato al caricamento dei modelli. Mechrevo sostiene che ciò consenta al Master Road X10 di eseguire modelli con 80 miliardi, 120 miliardi e persino 122 miliardi di parametri mantenendo prestazioni reattive. Purtroppo, la capacità esatta dell'SSD non è stata specificata.

Non è la prima volta che Mechrevo parla di questa tecnologia. Durante la presentazione di settembre, l'azienda ha affermato che il suo SSD AI potrebbe aumentare fino a 5,7 volte i carichi di lavoro dei modelli supportati e accelerare la fase di prefill fino al 95%. I test di laboratorio sul portatile Mechrevo Yaoshi 15 Air avrebbero dimostrato un miglioramento della velocità di inferenza di quasi due volte. Si afferma inoltre che l'SSD supporti una memoria persistente per l'IA, conservando le preferenze dell'utente e le informazioni contestuali tra una sessione e l'altra. Tuttavia, ci sono alcune importanti precisazioni da fare.

Mechrevo non ha pubblicato benchmark dettagliati, impostazioni di quantizzazione dei modelli o condizioni di test a sostegno di queste affermazioni. Inoltre, la memoria flash NAND è notevolmente più lenta della DRAM, il che significa che un SSD in grado di ospitare un modello più grande non offrirà necessariamente un'inferenza più veloce. Per il momento, le configurazioni di memoria del Master Road X10, la capacità dell'SSD AI, le opzioni di connettività, il prezzo e la data di uscita restano sconosciuti. Sarà interessante vedere se Mechrevo riuscirà a tradurre le sue ambiziose affermazioni basate sui test di laboratorio in miglioramenti misurabili delle prestazioni nell'uso reale.