Il boom dell'AI in Cina si basa su GPU Nvidia ricondizionate, ma i limiti all'esportazione non sono sufficienti

Di fronte agli ostacoli normativi e alle restrizioni all'esportazione, le aziende di AI in Cina utilizzano sempre più spesso ricondizionati e acceleratori Nvidia usati. Quando le esportazioni di H20 sono riprese a luglio, le nuove regole cinesi sulla sicurezza dei dati hanno complicato l'acquisto della limitata scheda Hopper di Nvidia. Di conseguenza, gli acquirenti si sono rivolti alle vecchie schede A100 e H100, dove i venditori ora ricostruiscono e vendono queste schede per cluster di inferenza accessibili e ad alte prestazioni.

L'inferenza richiede meno calcoli rispetto all'addestramento e non ha bisogno della massima precisione in virgola mobile. Un A100 del 2020 offre fino a 80 gigabyte di HBM2e e circa 2 TBps di larghezza di banda. Funziona ancora bene con i chatbot e i motori di raccomandazione. Il software CUDA maturo di Nvidia aiuta, dato il livello di sviluppo dello stack. Per i team che si concentrano sul servizio dei modelli, piuttosto che sulla loro formazione, il silicio più vecchio è un investimento intelligente.

In confronto, il modello H100 aumenta le prestazioni, offrendo HBM3 e un throughput molto più elevato. L'H20 è conforme alle regole di esportazione, ma le sue prestazioni AI sono approssimativamente da tre a sette volte inferiori rispetto a un H100 completo, e oltre trenta volte inferiori in doppia precisione. Alla luce di questi vincoli, molti acquirenti in Cina optano ancora per le schede H100 riattate rispetto alle nuove unità H20.

I sistemi di inferenza possono funzionare ininterrottamente con un rischio minimo per la precisione, e le schede più vecchie compatibili con CUDA sono facilmente implementabili. Le schede ricondizionate rimangono molto richieste, nonostante alcuni problemi di affidabilità. I centri dati possono espandersi immediatamente, invece di aspettare i pezzi approvati.

Nel frattempo, Nvidia si trova ad affrontare una situazione difficile: i cambiamenti nelle regole di licenza degli Stati Uniti hanno portato a una svalutazione di svalutazione di 5,5 miliardi di dollari dalle scorte di H20 invendute. Allo stesso tempo, la scarsità di schede ufficiali fa sì che le vecchie GPU Nvidia continuino ad alimentare la crescita dell'AI in Cina attraverso vendite non ufficiali e ricondizionate. Questa dinamica potrebbe avere un impatto sui profitti di Nvidia e allungare l'adozione di nuove tecnologie.

Sul fronte interno, il governo cinese sta incoraggiando gli acceleratori nazionali, da Huawei e Birenma ogni H100 o A100 sintonizzato di seconda mano distribuito nei data center cinesi riduce il mercato dei sistemi basati su Ascend e rallenta gli investimenti negli stack di produzione propria.

Prese insieme, queste regole creano un'economia del riciclaggio. I controlli che limitano l'elaborazione avanzata e le politiche di promozione dei chip locali mantengono l'hardware Nvidia più vecchio utile più a lungo.