Nvidia chiarisce che DLSS 5 si basa su screencaps 2D e vettori di movimento e non utilizza la geometria, le texture o l'illuminazione esistenti

Subito dopo il contraccolpo pubblico suscitato dall'annuncio di DLSS 5, Nvidia ha fornito ulteriori informazioni sulla tecnologia sottostante su cui si basa l'imminente tecnologia, ma la maggior parte delle dichiarazioni erano ancora poco chiare e soggette a interpretazione. Lo youtuber Daniel Owen ha contattato direttamente Jacob Freeman di Nvidia, al fine di chiarire tutta la verbosità accuratamente elaborata delle dichiarazioni ufficiali e di chiarire effettivamente cosa fa DLSS 5. Nvidia ha preferito rispondere via e-mail piuttosto che organizzare una conversazione dal vivo.

1. Owen inizia con una domanda scottante. Che cosa fa effettivamente DLSS 5 dietro le quinte? I ragazzi di Digital Foundry hanno già accennato a questo nella loro analisi estesa, quindi Owen ha chiesto se DLSS 5 si limita a prendere un fotogramma 2D (un'immagine di ciò che viene visualizzato sullo schermo) combinato con i vettori di movimento e poi emette il risultato.
   
   Il funzionario di Nvidia lo ha confermato in modo chiaro e semplice. Quindi DLSS 5 trasforma l'output dello schermo nel suo input che poi passa attraverso un modello AI generativo per 'migliorarlo'. L'output finale viene renderizzato in cima al motore di gioco motore di gioco
   
2. La prossima domanda intende chiarire se DLSS 5 può in qualche modo analizzare la geometria e la profondità 3D o se si limita a reinterpretare al meglio l'immagine 2D per renderla più realistica in base all'inferenza.
   
   "DLSS 5 è addestrato da un capo all'altro per comprendere la semantica di scene complesse come personaggi, capelli, tessuti e pelle traslucida, oltre a condizioni di illuminazione ambientale come illuminazione frontale, retroilluminazione o cielo coperto, il tutto analizzando un singolo fotogramma"
   
   Qui, Nvidia sembra evitare del tutto la parte relativa alla geometria 3D, ma la sua risposta suggerisce che DLSS 5 non ha nulla a che fare con la geometria 3D
   
3. Se la geometria e le texture sottostanti rimangono invariate, come sostiene Nvidia nel suo primer ufficiale, allora perché alcuni esempi mostrano texture modificate, anche se in modo sottile, ma comunque apparentemente diverse rispetto al rendering originale? Owen include un esempio con un personaggio maschile di Starfield che sembra avere più capelli sulla tempia sinistra dopo il trattamento con DLSS 5.
   
   Nvidia ha evitato completamente questa domanda e ha dichiarato che la geometria sottostante è effettivamente invariata e che ciò che hanno presentato è solo una primissima anteprima della tecnologia. Lo youtuber si avventura poi a dire che la geometria potrebbe non essere cambiata, ma l'output finale che appare sullo schermo può benissimo essere quello che DLSS 5 ritiene corretto attraverso l'inferenza. Inoltre, se si tratta di una versione iniziale, Nvidia dovrebbe prendere in considerazione tutti i feedback e migliorare ciò che la tecnologia può fare in definitiva
   
4. Nel primer ufficiale, Nvidia afferma che DLSS 5 migliora le proprietà PBR sui materiali. Owen vuole chiarire se DLSS 5 prende effettivamente le specifiche PBR dello sviluppatore del gioco incluse nel motore di gioco (proprietà del materiale, rugosità, mappe normali ecc.) come input o DLSS 5 deduce solo tutte le proprietà PBR.
   
   Nvidia risponde che DLSS 5 prende come input solo i fotogrammi renderizzati e i vettori di movimento, mentre i materiali vengono dedotti dal fotogramma renderizzato. Owen sostiene che questo chiarimento qualifica le dichiarazioni ufficiali sul miglioramento delle proprietà PBR come fuorvianti
   
5. Questa domanda è piuttosto impegnativa, in quanto riguarda la conservazione dell'intento artistico. Owen chiede essenzialmente se gli sviluppatori di giochi possono controllare qualcosa al di là della gradazione del colore, oltre a ridurre l'intensità della funzione DLSS 5 o a mascherarla completamente su oggetti/personaggi specifici. Fornisce un esempio con la scena di apertura di RE: Requiemdove Grace originariamente sembra non essere truccata, ma il rendering DLSS 5 la mostra truccata. In altre parole, gli sviluppatori possono in qualche modo istruire DLSS 5 a renderizzare Grace senza truccarsi?
   
   Nvidia fornisce una lunga risposta che è tratta direttamente dal primer e non fornisce una risposta sulla possibilità di istruire DLSS 5 a renderizzare qualcosa in un modo specifico. Allo stato attuale, sembra che la versione iniziale non sia in grado di preservare l'intento artistico, ma si può essere ottimisti e dire che questo potrebbe cambiare con un feedback sufficiente
   
6. DLSS 5 è davvero limitato allo spazio dello schermo, quindi non è consapevole delle fonti di luce fuori dallo schermo, dei riflessi, dell'occlusione ambientale e delle ombre?
   
   Nvidia conferma che DLSS 5 è effettivamente limitato allo spazio dello schermo, il che significa che non comprende nemmeno il ray tracing. Allora perché i giocatori dovrebbero attivare il ray tracing nei giochi se DLSS 5 non tiene conto di questi calcoli complessi che richiedono tanta potenza di elaborazione? Dovremmo capire che DLSS 5 può sostituire del tutto il ray tracing e, in tal caso, lo fa in modo più efficiente e richiede meno potenza di elaborazione? L'utilizzo di due schede RTX 5090 chiaramente non aiuta a dimostrare l'efficienza
   
7. L'ultima domanda non è direttamente collegata a DLSS 5, ma Owen chiede se l'introduzione di DirectML a DirectX per l'accelerazione agnostica dell'hardware dei compiti ML nei giochi potrebbe significare che le tecnologie proprietarie come DLSS 5 potrebbero a un certo punto diventare open source per funzionare su qualsiasi marca di hardware.
   
   Nvidia afferma di non avere nulla da annunciare a questo proposito in questo momento, quindi non nega completamente la possibilità, lasciando in qualche modo la porta leggermente aperta a un barlume di speranza.