Il Facial Motion Capture del futuro approda al SIGGRAPH 2022

Nel corso della kermesse di Vancouver per questo 2022, Digital Domain ha svelato la sua nuova tecnica di MOCAP basata su IA e ML.

Articolo a cura di

Nel corso del SIGGRAPH 2022 di Vancouver, tra le miriadi di contributi in ambito di nuove tecnologie al servizio della grafica e dell'interazione, un panel in particolare ha catturato la nostra attenzione. Si parla di Intelligenza Artificiale e Machine Learning quindi tenetevi forte, perché si parla di cinema ma più in generale di CGI.

Digital Domain tra IA e ML

La ricerca è stata presentata da Digital Domain, società specializzata nell'effettistica digitale e in particolare nella CGI per il cinema, vero e proprio colosso del settore e vincitrice di più premi Oscar tra cui quello per gli effetti speciali di Titanic, ma nota più di recente per il suo contributo in film come Spider-Man: No Way Home e nella serie TV Disney+ Ms. Marvel, oltre che per i bellissimi cinematic trailer "A storm is coming" per Ghost of Tsushima e "Power of numbers" per Call of Duty Black Ops 4.

Nel corso del panel, c'è stata la presentazione preliminare della nuova pipeline ibrida per facial capture, che consente di ottenere risultati impressionanti in termini di espressività mimica e naturalezza nei movimenti. La tecnologia, che potrete apprezzare nel nostro video presente in apertura e di cui purtroppo sono ancora disponibili pochi frammenti, si basa su tecniche di regressione con trasposizione da video in tempo reale e in condizioni apparentemente controllate, sfruttando al contempo anche l'approccio classico tramite marcatori visivi che, benché più lento, garantisce risultati qualitativamente superiori anche nei contesti più complessi, come ad esempio quello mostrato, in cui le espressioni dell'attrice sono state catturate da una videocamera fissa sul volto e lo sfondo in movimento.

Il nuovo metodo presentato dal team di Digital Domain sfrutta a piene mani le potenzialità offerte dal Machine Learning per alleggerire la coda di produzione senza per questo rinunciare all'elevata qualità del risultato finale grazie a training mirato nell'individuazione di soggetti e sfondi in movimento.

Come tutte le applicazioni basate sull'IA, oltretutto, anche in questo caso un flusso di lavoro più snello si traduce anche in un minore intervento da parte degli operatori umani.
I risultati della prova sono stati ottenuti attraverso la cattura con due camere a 60 fps. L'elaborazione su una NVIDIA Quadro RTX 5000 richiede circa 20 millisecondi a fotogramma e 3,5 secondi per la rimozione dei marcatori, quindi una mole di tempo sensibilmente inferiore rispetto ai 10 secondi richiesti per un'elaborazione automatica con Masquerade, per un complessivo miglioramento in termini di fedeltà di riproduzione di circa il 10%.
La nuova pipeline di Digital Domain attualmente è già in fase di implementazione all'interno dei flussi di lavoro online e offline dell'azienda per essere utilizzata nelle future fatiche per il grande e il piccolo schermo, oltre che per le cinematiche dei nostri prossimi titoli preferiti.