Dal miglioramento del frame al remastering progressivo degli asset: cosa succede quando l’AI smette di limitarsi all’immagine finale
Con DLSS 5 NVIDIA ha spostato ancora una volta il confine di ciò che consideriamo rendering in tempo reale. La rottura più evidente l’avevo già raccontata commentando l’annuncio, in DLSS 5 e la fine del rendering deterministico: il rendering smette di essere deterministico, e due esecuzioni identiche della stessa scena possono non produrre la stessa immagine. Quel ragionamento riguardava però il frame. Qui interessa il passo successivo, cioè cosa accade quando lo stesso principio viene applicato non all’immagine finale ma agli asset che la compongono.
Non si parla più soltanto di ricostruire un’immagine a risoluzione maggiore o di generare frame intermedi: il nuovo 3D-Guided Neural Rendering interviene sull’aspetto finale della scena, utilizzando il frame prodotto dal motore come base e aggiungendo informazioni visive legate a illuminazione e materiali. NVIDIA lo descrive come uno stadio neurale finale della pipeline, guidato dal contenuto renderizzato, dai motion vector e da controlli pensati per preservare struttura e direzione artistica. NVIDIA Developer
È una differenza importante, perché per la prima volta DLSS non si limita a ottenere in maniera più efficiente un risultato che il renderer avrebbe potuto produrre con più risorse. DLSS 5 genera direttamente parte dell’aspetto finale mostrato a schermo, pur restando ancorato ai dati del gioco. NVIDIA
Se ormai possiamo ricostruire il frame, la domanda si sposta: quale potrebbe essere il passo successivo?
Un vecchio gioco con un’immagine sorprendentemente moderna
Per farmi un’idea concreta ho fatto qualche prova con Silent Hill 3 su PCSX2, utilizzando ReShade e DLSS 5.
Il punto è che non ho utilizzato un texture pack HD.
Le texture, la geometria, i modelli e gran parte delle limitazioni tecniche rimangono quindi quelli del gioco originale. Eppure il salto qualitativo è evidente. Non perché Silent Hill 3 sia improvvisamente diventato un titolo moderno, ma perché l’immagine finale risulta molto più coerente e leggibile di quanto ci si aspetterebbe da asset prodotti oltre vent’anni fa.
Ed è proprio questa discrepanza a rendere l’esperimento utile.
Il modello di Heather rimane quello originale. Le pareti rimangono relativamente semplici. I materiali non diventano magicamente quelli di un gioco contemporaneo. Ma illuminazione, pelle, capelli, superfici e microcontrasti vengono presentati in maniera tale da far emergere molto più chiaramente quanto il limite non risiedesse soltanto negli asset.
In alcuni casi il framebuffer sembra essere diventato più moderno degli oggetti che contiene.
Questo non significa che DLSS 5 stia “rimasterizzando” Silent Hill 3. Il sistema non nasce per questo e NVIDIA lo presenta come una tecnologia integrata nei giochi, con informazioni e controlli forniti direttamente dal motore. Attualmente DLSS 5 utilizza frame, motion vector e parametri specifici per mantenere il risultato ancorato alla scena originale. NVIDIA Developer
Ma l’esperimento rende visibile una direzione, e per seguirla conviene guardare a quello che gli emulatori fanno già da anni.
PCSX2 ha già risolto metà del problema
Gli emulatori moderni offrono da tempo un altro tipo di miglioramento: la sostituzione delle texture.
PCSX2, ad esempio, permette di effettuare il dump delle texture originali, modificarle e caricarne versioni alternative. È il principio utilizzato dai texture pack HD. Lo stesso progetto PCSX2 sottolinea però un limite evidente: aumentare la risoluzione interna del framebuffer migliora bordi e precisione dell’immagine, ma non può recuperare automaticamente informazioni che non esistono nelle texture sorgenti. PCSX2
Il workflow tradizionale è quindi relativamente semplice: qualcuno estrae le texture, le modifica manualmente o con strumenti dedicati, costruisce un pack e l’emulatore sostituisce gli asset originali durante l’esecuzione.
L’AI introduce però una possibilità diversa, e non necessariamente migliore in assoluto: invece di distribuire un pacchetto di texture già preparato, si potrebbe immaginare un sistema che si costruisca da sé, progressivamente, la propria cache di asset migliorati.
Una texture viene incontrata per la prima volta. Il gioco continua a utilizzare quella originale, mentre un processo asincrono ne genera una versione a maggiore risoluzione. Il risultato viene salvato localmente e, dalla sessione successiva o dal caricamento seguente, quella texture può essere sostituita automaticamente.
Non ci sarebbe bisogno di utilizzare un modello generativo sessanta volte al secondo per migliorare una superficie che resterà invariata per tutta la durata del gioco: l’inferenza costosa avverrebbe una volta sola.
Un remaster che si costruisce mentre giochiamo
Il modello concettuale potrebbe essere molto semplice.
Il gioco incontra una texture, ne calcola un identificatore e verifica se ne esiste già una versione migliorata in cache: solo in caso contrario avvia il lavoro in background.
Una volta completato il lavoro, il nuovo asset diventa disponibile per gli utilizzi successivi.
In questo modo il gioco costruirebbe progressivamente una propria cache, senza lunghe fasi iniziali di elaborazione e senza che nessuno debba preparare la libreria in anticipo: dopo alcune ore di gioco, una parte consistente degli asset effettivamente utilizzati potrebbe essere già stata processata, e ReShade diventerebbe la parte da cui cominciare.
ReShade potrebbe diventare qualcosa di più di un post-processore
ReShade viene normalmente associato a shader di post-processing applicati all’immagine finale, ma la sua architettura add-on permette di intervenire molto più in profondità sulla pipeline grafica.
Nel caso Direct3D, ad esempio, il codice di ReShade intercetta già la creazione delle risorse e può notificare agli add-on eventi relativi a texture e altre risorse GPU. Le API espongono eventi di creazione, inizializzazione e distruzione delle risorse. GitHub
Questo non significa che esista già un sistema universale capace di sostituire automaticamente le texture di qualsiasi gioco. Quello sarebbe un problema molto più complesso, soprattutto considerando differenze tra API, gestione delle risorse, texture dinamiche, render target e streaming.
Significa però che il gancio esiste, e che ReShade non è legato a un singolo emulatore.
Una pipeline sperimentale potrebbe quindi essere separata in due parti: ReShade si occuperebbe di riconoscere le risorse, mentre un processo esterno gestirebbe il lavoro pesante: upscaling, ricostruzione, compressione, generazione delle mipmap e salvataggio della cache.
Il gioco continuerebbe a girare normalmente, con il remastering relegato ai margini della pipeline.
Non solo texture più grandi
Limitarsi al semplice upscale sarebbe però quasi riduttivo.
Una vecchia texture non contiene soltanto pochi pixel. Spesso incorpora informazioni che oggi verrebbero distribuite su più mappe e gestite da un materiale fisicamente più complesso.
Una superficie di un gioco PlayStation 2 poteva affidarsi quasi interamente a texture diffuse, all’illuminazione per vertice e a qualche effetto dedicato. Un renderer moderno lavora invece con normal map, roughness, metalness, ambient occlusion e altri parametri separati.
In linea teorica, un processo di enhancement potrebbe quindi cercare di ricostruire non soltanto una diffuse a maggiore risoluzione, ma anche informazioni derivate.
Da una texture originale potrebbero nascere una albedo ripulita, una normal map plausibile, una mappa di roughness o una height map.
Non staremmo più semplicemente aumentando la definizione, ma interpretando l’asset: la questione è più larga del semplice “AI upscale”.
Dove finisce il restauro e inizia la reinterpretazione?
Silent Hill 3 è un ottimo esempio proprio perché la sua identità visiva dipende anche dai propri limiti.
È un gioco sporco, scuro, granuloso, spesso volutamente sgradevole. Le superfici non devono necessariamente apparire pulite o realistiche. I volti non devono sembrare render cinematografici contemporanei. Parte dell’atmosfera nasce proprio dalla combinazione tra direzione artistica e tecnologia dell’epoca.
Un modello generativo eccessivamente aggressivo potrebbe produrre un risultato tecnicamente più ricco ma artisticamente peggiore.
Una parete indefinita potrebbe diventare cemento perfettamente leggibile. Una macchia potrebbe trasformarsi in una texture semanticamente plausibile ma completamente diversa dall’originale. Un volto stilizzato potrebbe ricevere pori, riflessi o dettagli che nessun artista aveva mai previsto.
Il miglioramento diventerebbe reinterpretazione, e non è un problema teorico: gli stessi sistemi moderni lo affrontano già. DLSS 5 introduce controlli per intensità, tonalità e masking proprio perché l’obiettivo dichiarato è mantenere l’intervento coerente con la direzione artistica del gioco. NVIDIA Developer
In un sistema pensato per il remastering automatico, questo controllo diventerebbe ancora più importante.
Probabilmente avrebbe senso distinguere un approccio conservativo, orientato alla ricostruzione, da uno generativo molto più libero.
Nel primo caso il sistema potrebbe limitarsi a super resolution, riduzione degli artefatti, ricostruzione dei bordi e recupero di strutture plausibili senza alterare sensibilmente l’immagine; nel secondo proverebbe invece a reinterpretare materiali, superfici e dettagli. Entrambi gli approcci sono realizzabili, ma portano a risultati diversi: uno resta vicino all’originale, l’altro se ne allontana.
Il frame è soltanto l’ultimo livello
Quello che rende DLSS 5 particolarmente interessante non è quindi soltanto il risultato ottenibile oggi.
È un cambio di paradigma: per anni abbiamo pensato agli asset come alla parte “vera” del gioco e al rendering come al processo necessario per mostrarli.
Le tecnologie neurali stanno introducendo uno strato intermedio sempre più importante, capace di ricostruire informazioni che non sono esplicitamente contenute nel renderer tradizionale.
Oggi questo avviene sul frame finale, domani potrebbe avvenire anche sugli asset. Una pipeline futura potrebbe quindi avere tre livelli: il primo, asincrono, migliorerebbe progressivamente texture e materiali salvandoli in una cache persistente; il secondo resterebbe il rendering classico del gioco o dell’emulatore; il terzo userebbe tecniche neurali in tempo reale per rifinire il frame finale. Il risultato non sarebbe un remake, e probabilmente nemmeno un remaster nel senso tradizionale: sarebbe una forma di ricostruzione progressiva.
Lo stesso ragionamento funziona anche fuori dai videogiochi
Questo tipo di sperimentazione non riguarda necessariamente soltanto i giochi.
Negli ultimi mesi ho fatto alcuni test anche con player video DirectX 12, ReShade e ambienti VR, applicando tecniche di post-processing e ricostruzione a contenuti cinematografici tradizionali visualizzati all’interno di uno spazio virtuale.
Il principio è simile: un film rimane lo stesso film, il materiale sorgente non cambia, cambia però la pipeline attraverso cui viene presentato.
Quando risoluzione, contrasto locale, ricostruzione dell’immagine e visualizzazione vengono gestiti da sistemi moderni, la distanza tra il contenuto originale e l’esperienza finale diventa sempre meno lineare.
In questo senso, tecnologie nate per il gaming potrebbero diventare parte di un problema molto più ampio: come presentare contenuti legacy su sistemi di visualizzazione che appartengono a generazioni completamente diverse.
Dopo DLSS 5
La domanda, quindi, potrebbe non essere semplicemente quale sarà la prossima versione di DLSS.
Il passaggio decisivo potrebbe avvenire lateralmente.
Oggi utilizziamo modelli neurali per ricostruire il frame finale. Gli emulatori sanno già identificare e sostituire texture. ReShade può inserirsi nella pipeline grafica e intercettare le risorse utilizzate dall’applicazione. I modelli di super resolution e generazione possono lavorare offline o in background invece di essere costretti all’inferenza in tempo reale: tutti elementi che esistono già, ma separatamente.
Metterli insieme significa immaginare qualcosa di diverso: un sistema in cui un vecchio gioco viene progressivamente migliorato mentre viene utilizzato, costruendo una cache locale di asset ricostruiti senza modificare il software originale.
Non so se questa sarà realmente la direzione che prenderemo.
Ma dopo aver visto Silent Hill 3 attraversare una pipeline del genere senza nemmeno utilizzare un texture pack HD, la domanda diventa difficile da ignorare.
Forse il prossimo passo non sarà semplicemente renderizzare più pixel, ma decidere quali parti di un vecchio gioco vogliamo davvero lasciare vecchie.
