NVIDIA ha rivelato come DLSS 5 “completa” l’immagine basandosi solo su un frame 2D e sui vettori di movimento.

Come funziona DLSS 5: spiegazione di un dipendente Nvidia

In un recente intervista Jacob Freeman di Nvidia ha chiarito il principio di funzionamento della nuova tecnologia di upscaling delle immagini – DLSS 5, che utilizza l’intelligenza artificiale.

Cosa viene fornito al sistema
* Frame 2‑D – un'immagine renderizzata normale.

* Vettori di movimento – informazioni su come gli oggetti si spostano tra i frame.

Non vengono utilizzati dati tridimensionali: il modello non legge la geometria della scena, la profondità, i materiali o le mappe delle normali. Ciò significa che DLSS 5 si basa completamente sulle informazioni 2‑D e sul movimento.

Come “comprende” la scena
* Semantica – l’IA riconosce oggetti come capelli, tessuto, pelle e condizioni di illuminazione.

* Per questo serve solo un frame; il modello non tiene conto della metallicità, della rugosità o di altre proprietà dei materiali.

Pertanto a volte i risultati possono sembrare “imprevedibili”:
- il personaggio appare con capelli dove non ce ne sono;
- cambiano le caratteristiche del volto.

Non avvengono modifiche alla geometria di base – è solo un’interpretazione visiva dell’AI.

Limitazioni e possibilità per gli sviluppatori
* Gli sviluppatori possono regolare l’intensità dell’effetto, la correzione colore, il contrasto, la saturazione, la gamma.

* È possibile usare maschere per escludere determinati oggetti dall’elaborazione.

* Tuttavia non possono modificare direttamente le caratteristiche del volto o rimuovere l’effetto “makeup” – l’unico modo è ridurre l’intensità, applicare una maschera o disattivare completamente l’algoritmo.

Alla fine il volto viene generato dall’IA, ma la sua apparizione può essere corretta solo in modo indiretto.