La scommessa paga: Lo sviluppatore ottiene un hardware del valore di 80.000 dollari con 960 GB di memoria DDR5 e il superchip Nvidia GH200 a un decimo del prezzo
Meno di una settimana fa, ci siamo occupati di una storia proveniente da Reddit, in cui un giocatore è riuscito a mettere le mani su un PC da gioco potente e ben equipaggiato, del valore di circa 3.000 dollari, a soli 600 dollari. In modo esilarante, i 64 GB di memoria DDR5 del sistema da soli valgono 880 dollari al momento della stesura di questo articolo, grazie alla continua contrazione dell'offerta di DRAM che ha portato a un'impennata senza precedenti un'impennata senza precedenti dei prezzi della memoria.
hardware del valore di 80.000 dollari a 8.000 dollari: Uno sviluppatore di AI fa il colpaccio
Ora, uno sviluppatore di AI, sempre tramite Reddit, è riuscito a scovare un affare da far venire l'acquolina in bocca: un server AI usato con doppia Nvidia GH200 superchip, venduto a soli 8.000 dollari. Se fosse stato acquistato nuovo di zecca, il sistema sarebbe costato all'incirca 80.000 dollari, molto probabilmente anche di più, dato che il chip Nvidia H100 vale da solo circa 40.000 dollari, come ha notato l'autore su https://dnhkng.github.io/posts/hopper/. Inoltre, il sistema contiene ben 960 GB di memoria LPDDR5X. I dettagli esatti del sistema sono stati riportati di seguito, per gentile concessione dell'acquirente, David Noel Ng:
- Dual Nvidia Grace-Hopper GH200 Superchip - ciascuno con una CPU ARM a 72 core con 480 GB di memoria LPDDR5X, GPU Hopper H100 con 96 GB di memoria HBM3
- NVlink C2C con larghezza di banda di 900 GB/s
- pSU da 3 kW
- Doppi slot PCIe Gen4 M.2 22110/2280
- Quattro slot FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Il superchip Nvidia GH200 a un prezzo conveniente? C'è una fregatura
Il venditore, in un'altra risposta, ha rivelato che il sistema è stato venduto a un prezzo stracciato a causa delle sue cattive condizionia causa della conversione da raffreddamento a liquido a raffreddamento ad aria. Inoltre, ha menzionato che non poteva essere montato su un tipico rack per server, che in genere è un requisito fondamentale.
Tuttavia, David non si è lasciato scoraggiare da questi inconvenienti e si è recato personalmente dal venditore per far controllare il sistema. Fortunatamente, ha scoperto che il venditore godeva di buona reputazione e che si trovava a circa 2 ore di distanza da casa sua.
Una volta portato il sistema a casa, David ha preparato un aspirapolvere e alcuni litri di soluzione detergente prima di mettersi al lavoro. Una volta pulito il server, è stata installata una nuova configurazione di raffreddamento ad acqua e sono state effettuate alcune riparazioni. Forse la più impegnativa è stata quella di risolvere un sensore di temperatura difettoso che causava ripetutamente il blocco del server, ma alla fine è stato tutto risolto.
Gli LLM massicci sono di casa: i modelli di parametri 235B funzionano senza problemi
David sembra molto soddisfatto del suo acquisto - e della sua conseguente capacità di eseguire LLM massivi (235B) direttamente a casa. Naturalmente, l'intero processo ha richiesto un sacco di lavoro, la maggior parte del quale è al di là della portata di chi è completamente nuovo all'hardware di livello aziendale. Ma considerando che i 960 GB di memoria DDR5 da soli valgono ora più di quanto ha pagato per l'intero sistema, è stato sicuramente un lieto fine.
Per coloro che desiderano eseguire modelli di AI più piccoli a casa senza dover sborsare 8.000 dollari e molte ore in più di configurazione, la Strix Halo-powered GMKtec Evo-X2(attualmente 1.529,99 dollari su Amazon) potrebbe essere una scelta migliore.
Fonte(i)
David Noel NgReddit, individuato da Tom's Hardware
