Nvidia RTX 5090 funziona su macOS con il nuovo driver personalizzato di Tiny Corp

Apple e Nvidia hanno interrotto la loro partnership molti anni fa, lasciando gli utenti Mac senza il supporto ufficiale della GPU. Questa conseguenza ha di fatto ucciso CUDA sulla piattaforma e ha costretto gli sviluppatori e i ricercatori a rivolgersi a Apple 's proprio framework Metal. Tuttavia, un nuovo driver open-source di Tiny Corp ha finalmente risolto questo problema, riportando l'hardware Nvidia Blackwell nell'ecosistema macOS.

Il progetto utilizza un'estensione personalizzata del kernel chiamata Tiny GPU. Consente alle GPU esterne, come la RTX 5090, di interfacciarsi direttamente con i Mac Apple Silicon tramite Thunderbolt 5 o USB4. Si tratta di un grande salto tecnico di per sé, in quanto evita del tutto la necessità di macchine virtuali. Nella demo di Alex Ziskind, una RTX 5090 con 32 GB di VRAM è stato abbinato con successo a un Mac Mini M4 Pro (prezzo attuale. 1399 dollari su Amazon per la variante da 24 GB/512 GB, qui la nostra recensione dettagliata).

Mentre la connessione è stabile, l'attuale stack software è nelle sue fasi iniziali. Il driver si affida al compilatore Tiny Grad piuttosto che alle ottimizzazioni Metal o CUDA native. Questo crea un divario di prestazioni durante le attività di calcolo pesanti. Durante l'esecuzione del modello Llama 3.1 8Bla configurazione ha raggiunto circa 7,48 token al secondo. Anche se si tratta di una grande vittoria per la compatibilità, è ancora più lento del CPP nativo di Llama su Metal, dice Alex, che è quasi dieci volte più veloce su un hardware equivalente.

Indipendentemente da ciò, il vero valore di questo progetto è il suo potenziale di ottimizzazione futura. Il collo di bottiglia attuale non è il cavo Thunderbolt 5, che gestisce in modo efficiente il trasferimento del peso del modello, ma l'efficienza dei kernel autogenerati. Per le semplici interfacce di chat, la configurazione di Blackwell è veloce, con velocità di time-to-first-token da tre a quattro volte superiori alle soluzioni Metal native.

Il processo di installazione comprende l'approvazione di un'estensione di sistema e l'esecuzione di una pipeline di compilazione basata su Docker. Chiaramente non si tratta di un sostituto (ancora) dei flussi di lavoro semplificati di Metal, ma è comunque il primo funzionale da anni.