Sviluppata IA che renderizza capelli 3D in tempo reale partendo da foto o video

I ricercatori dell'University of Southern California, aiutati da Pinscreen e Microsoft, sono riusciti a sviluppare un'interessante IA.

speciale Sviluppata IA che renderizza capelli 3D in tempo reale partendo da foto o video
Articolo a cura di

La tecnologia compie costantemente passi da gigante. I videogiochi non sono da meno, con una complessità poligonale sempre maggiore e un'esperienza visiva che sta facendo di tutto per puntare al fotorealismo.
In questo contesto, però, il target d'utenza più attento al fattore grafica è sempre stato quello composto dai PC gamer, che bazzicano da tempo in menu pieni zeppi di opzioni. Tra queste, da qualche anno, ha fatto molto parlare di sé la tecnologia NVIDIA HairWorks, che aggiunge centinaia di migliaia di ciocche di capelli dinamiche ai personaggi, che reagiscono alle forze esterne in modo da far sembrare il tutto più realistico.
A molti potrà apparire come un elemento marginale, ma l'interesse del pubblico in tal senso è cresciuto a dismisura dopo l'uscita di titoli come The Witcher 3, per citare un solo esempio, ed è scontato, dunque, che qualcuno stia cercando di andare oltre i confini conosciuti in questo campo. I ricercatori della University of Southern California, di Pinscreen e di Microsoft sono riusciti a sviluppare un'IA in grado di renderizzare in tempo reale i capelli in 3D partendo da una foto o un video.

I capelli dei videogame del futuro saranno ricreati da un'immagine?

I risultati dello studio sono stati condivisi in un paper pubblicato online. In particolare, come si vede nel video presente qui sopra, i ricercatori sono riusciti a sviluppare un'intelligenza artificiale che, attraverso appositi algoritmi di deep learning, riesce a renderizzare in tempo reale i capelli di una persona, partendo semplicemente da un input composto da un'immagine o un video.
Credeteci, ricostruire un elemento del genere in 3D partendo da un'immagine statica non è assolutamente un traguardo da poco, come non lo è ricostruire realisticamente i movimenti dei capelli di una persona avendo come input un video.
A conferma di questo, la stessa NVIDIA ha deciso di condividere il tutto sul proprio blog ufficiale. "La modellazione realistica dei capelli è uno dei compiti più difficili nella digitalizzazione degli esseri umani virtuali. [...] Contrariamente agli oggetti, come il volto umano, che sono facilmente parametrizzabili, i capelli si estendono su una vasta gamma di variazioni di forma, possono essere molto complessi a causa della loro struttura volumetrica e del livello di deformabilità di ogni ciocca", hanno dichiarato in merito i ricercatori.

Il tutto è stato reso possibile grazie all'utilizzo di alcune GPU NVIDIA Titan X e del framework per il deep learning PyTorch. Grazie a quest'ultimo, i ricercatori sono riusciti ad "addestrare" le varie reti neurali con un set di dati composto da oltre 40.000 diverse pettinature e 160.000 immagini 2D relative a esse. Tutte con angolature casuali, in modo che sia possibile utilizzare l'IA con qualsiasi foto.
Le fasi per portare a termine l'operazione sono tre: pre-elaborazione, generazione delle ciocche di capelli e ricostruzione. Nella prima, l'algoritmo determina l'area occupata dai capelli e ne ricostruisce una sorta di "mappa", nella seconda vengono generate le singole ciocche e nell'ultima si ricostruisce il tutto come rappresentato in foto o video.
Si tratta sicuramente dell'IA di questo tipo più accurata mai realizzata, anche se presenta ancora delle fisiologiche limitazioni nel ricreare alcune pettinature, ma i ricercatori pensano di poter "sistemare" il tutto semplicemente aggiungendo ulteriori immagini al set di dati analizzati dall'algoritmo.