Ziva Face Trainer: il fotorealismo non è mai stato così vicino

Nell'eterno dibattito sull'evoluzione grafica nei videogiochi, l'ultimo elefante nella stanza è ZRT. Siamo arrivati al fotorealismo?

Articolo a cura di

Nel nostro ultimo editoriale sullo stato dell'arte dell'industria videoludica, abbiamo provato a capire se il fotorealismo nei videogiochi può esistere davvero. Sappiamo che non siamo mai stati così vicini a raggiungere questo traguardo grazie all'Intelligenza Artificiale, ma da oggi i developer avranno un'arma in più.
Stiamo parlando di Face Trainer, l'ultima creazione di Ziva Dynamics, gruppo conosciuto per aver partorito un altro incredibile strumento, Ziva VFX, che consente di generare e simulare la muscolatura corporea in maniera ultrarealistica.

Di cosa si tratta

Ziva Face Trainer, come suggerisce il nome, si occupa invece della mimica facciale e i suoi risultati sono tra l'incredibile e lo sconvolgente.

Ad accoglierci nella pagina di Ziva Dynamics troviamo un volto di donna tanto realistico da sembrare reale. Sembrare, appunto, dal momento che in realtà si tratta di un volto generato in tempo reale su Unreal Engine 5 in 4K a 60 Frame al secondo, che potete osservare anche in questo video. Ciò che lascia senza fiato però sono le espressioni e le boccacce che il soggetto virtuale è in grado di compiere. Siamo abituati a esempi mirabili, da The Last of Us 2 a Quantum Break, passando per Detroit, ma è chiaro che, di fronte a quanto mostrato dalle potenzialità di Ziva, siamo assolutamente in un'altra generazione. Ma come avviene la magia?

Quello di Ziva Dynamics è uno strumento attualmente disponibile online in fase sperimentale, che potrà essere implementato all'interno di qualsiasi titolo. Ciò che questo prodotto è in grado di fare è rendere scalabile e animato del materiale statico acquisito in precedenza e per farlo utilizza una enorme libreria, composta da oltre 15 Terabyte di dati in 4 dimensioni che comprendono tantissime informazioni su movimenti facciali intellegibili.
Per ottenere il risultato, questi dati vengono elaborati attraverso un metodo che abbiamo ormai imparato a conoscere, il machine learning. Già ampiamente introdotto nel medium da NVIDIA con il suo DLSS, il Deep Learning viene utilizzato da Ziva per far allenare il supercomputer a riconoscere oltre 72000 espressioni differenti e riproporle direttamente su qualsiasi volto progettato in 3D.

L'elaborazione completa di un individuo è possibile, direttamente online, in appena 30 minuti. Questo vuol dire che, seguendo attentamente le istruzioni di Ziva per l'acquisizione di un volto, una volta ottenuto l'accesso alla beta si potrà ottenere il proprio alter ego virtuale in meno di una giornata.
La preparazione richiede un tempo variabile a seconda delle skill del progettista, ma una volta caricata la nostra risorsa online, composta dalle mesh del volto che vogliamo animare, il processo fino alla consegna del file definitivo durerà al massimo un'ora.

Ziva suggerisce di utilizzare Wrap3 oppure Maya, programmi con cui dovremo individuare i riferimenti sul viso, definiti da una serie di punti rossi applicati direttamente sulla forma e successivamente effettuare il wrapping, generando la mappa tridimensionale delle zone di movimento. Anche qui e fino alla produzione della mesh definitiva è richiesto l'intervento manuale, per smussare le asperità che potrebbero generare poi una minore fluidità nei movimenti, trattandosi pur sempre di poligoni. Una volta completata la fase di produzione, attraverso Maya viene richiesto di aumentare la risoluzione fino al massimo possibile, in modo tale da consentire a Ziva di poter acquisire e animare più dettagli. È possibile visionare l'esempio di animazione di una mesh in questo video.

I movimenti che i volti generati con ZRT possono compiere sono molto precisi e difficilmente distinguibili da una sequenza girata nel mondo reale, sia in termini di riproduzione dell'espressione facciale che di naturalezza dell'animazione.
Attualmente il prodotto si può testare in maniera totalmente gratuita sul sito ufficiale attraverso la Beta interattiva, accessibile però soltanto su invito. Dopo la fase di preparazione iniziale si possono ottenere dei risultati in maniera del tutto automatizzata, direttamente in cloud. Una volta sbarcato sul mercato, sarà compito degli sviluppatori integrarlo all'interno delle istruzioni di gioco per implementarlo nelle prossime IP, ma già i primi risultati sono ben più che incoraggianti.

Dopo decenni in cui la legge di Moore ha scandito il progresso tecnologico e, direttamente e indirettamente, anche quello videoludico, l'Intelligenza artificiale ha aperto le porte su un futuro più prossimo di quello che ci saremmo mai aspettati. La stessa illuminazione in tempo reale che sfrutta l'agoritmo di Ray Tracing è arrivata sulle nostre macchine grazie al deep learning e, per l'esattezza, grazie al denoiser di NVIDIA che consente di generare l'impianto luminoso a bassissima. Un workflow ormai ben consolidato, che ci ha fatto compiere passi da gigante a dispetto dei limiti imposti dalla potenza bruta e dalla capacità di calcolo delle nostre schede video.

A partire dalla fotogrammetria di Forza Horizon 5, passando proprio per l'illuminazione globale, la direzione è ormai abbastanza chiara e Face Trainer rappresenta soltanto uno strumento in più, speriamo presto nelle mani degli sviluppatori. Quando potremo vedere le meraviglie di Ziva Face Trainer sulla prima IP compatibile è ancora presto per dirlo ma come al solito, non vediamo l'ora di scoprirlo.