Tiiny AI Pocket Lab: Mini PC con CPU ARM a 12 core e 80 GB di memoria LPDDR5X svelato prima del CES
Tiiny Lab è una startup con sede negli Stati Uniti, , che sembra essere specializzata nell'hardware progettato per i LLM personali che sembra essere specializzata in hardware progettato per i LLM personali. Il loro ultimo prodotto segna la loro incursione nel territorio dei mini PC, con il nome di Pocket Lab. Il mini PC, dal nome appropriato, è incredibilmente compatto e vanta un hardware davvero potente, in grado di eseguire LLM con un massimo di 120 miliardi di parametri, un'affermazione davvero impressionante.
cPU ARM a 12 core con dNPU per 160 + 30 TOPS di calcolo AI
È interessante notare che Tiiny AI ha affermato che il mini PC Pocket Lab è stato incoronato come il "mini PC più piccolo del mondo" nella categoria 100B LLM Local dal Guinness World Records, che, a dire il vero, sembra essere stranamente specifico. Ad ogni modo, non c'è dubbio che il mini PC Pocket Lab sia estremamente compatto, con appena 14,2 x 8 x 2,5 cm o 5,6 x 3,15 x 1 pollice. Con soli 300 grammi, il sistema è anche piuttosto leggero.
Tiiny AI afferma inoltre che l'installazione con un solo clic di noti modelli open-source come Llama, Qwen, DeepSeekmistral, Phi e OpenAI GPT-OSS sono supportati. Gli aggiornamenti software OTA saranno forniti regolarmente, il che sembra promettente. Ma, naturalmente, resta da vedere se queste promesse saranno mantenute o meno. Dal punto di vista dell'hardware, il mini PC Pocket Lab ha una buona dose di potenza, come illustrato di seguito:
- cPU ARM a 12 core basata su ARMv9.2
- NPU con 160 TOPS
- 80 GB di memoria LPDDR5X, con 48 GB dedicati alla NPU
- 1 TB SSD
- potenza di 65 watt
- Funzionamento completamente offline
Tiiny AI sostiene che il Pocket Lab può gestire LLM con un massimo di 120 miliardi di parametri, anche se i livelli di quantizzazione non sono stati dichiarati esplicitamente. Anche i dettagli relativi ai prezzi sono per il momento nascosti, ma non c'è dubbio che il mini PC Pocket Lab costerà un bel po'. Anche con un'aggressiva quantizzazione a 4 bit, l'esecuzione di un modello da 120 miliardi di parametri sembra un po' troppo azzardata per un sistema con solo 80 GB di memoria totale. Naturalmente, i risultati finali devono ancora essere visti nella vita reale.
Per gli utenti normali che non necessitano di LLM locali e hanno requisiti di prestazioni moderati, un tipico mini PC, come il Minisforum AI X1 Pro (attualmente 1.087,90 dollari su Amazon) sarà probabilmente una scelta migliore.
Fonte(i)
Tiiny AI, avvistato da TechPowerUp
