Il riconoscimento delle emozioni nel gaming in realtà virtuale

Il riconoscimento delle emozioni nel gaming in realtà virtuale
di

La realtà virtuale migliora ogni giorno. La fantascienza diventa realtà e, chi ha avuto modo di provarla, sa che i passi fatti nell'ultimo periodo sono spaventosi. Un team di ricercatori della Yonsei University e di Motion Device Inc. ha proposto una tecnica di deep learning che consentirebbe il riconoscimento delle emozioni di chi gioca in VR.

Perchè mai? Ma soprattutto, perchè no? Questo passo avanti aprirebbe la strada a videogiochi integrati con le emozioni di chi gioca, creando potenzialmente meccaniche nuove e possibilmente avvincenti.

La VR, come saprete, funziona mediante un display indossabile (HMD), in modo che le immagini possano essere trasmesse direttamente di fronte ai nostri occhi, creando un potente ambiente virtuale. L'integrazione di strumenti che riconoscano le emozioni con esperienze di gioco VR si è dimostrata una sfida interessante in quanto, nella realtà virtuale, il volto è parzialmente coperto dall'HDM e gran parte dei modelli per la previsione delle emozioni sfrutta l'analisi diretta dei volti delle persone.

Il team (ricercatori dell'Università di Yonsei e Motion Device) ha costruito dapprima tre reti neurali convoluzionali (CNN), ovvero un tipo di rete neurale artificiale feed-forward in cui il pattern di connettività tra i neuroni è ispirato dall'organizzazione della corteccia visiva animale. Si chiamano DenseNet, ResNet e Inception-ResNet-V2, e sono in grado di prevedere le emozioni delle persone partendo da immagini di volti anche parziali. Quindi, hanno scaricato e modificato immagini dal Radbound Faces Dataset (che include 8.040 immagini di 67 soggetti) coprendo la parte di volto normalmente occlusa dall'HMD.

Normalmente, caratteristiche come occhi, orecchie e sopracciglia sono fondamentali per il riconoscimento delle emozioni, almeno considerando le richieste dei modelli a cui attualmente facciamo riferimento. Eppure le immagini usate per addestrare le AI avevano queste parti coperte da un rettangolo nero. Tuttavia, i ricercatori hanno scoperto di essere in grado di classificare le emozioni anche senza analizzare queste caratteristiche del volto.

La CNN più performante è stata DenseNet, raggiungendo precisioni medie superiori al 90%. Mentre ResNet si è trovata avvantaggiata nella classificazione della paura e del disgusto.

"Abbiamo addestrato con successo tre architetture CNN che stimano le emozioni dalle immagini parzialmente coperte del volto umano", hanno scritto i ricercatori nel loro articolo. "Il nostro studio ha mostrato la possibilità di stimare le emozioni a partire dalle immagini di esseri umani che indossano HMD".

Un futuro integrato con la tecnologia VR? Lo studio sembra indicare che sì, è possibile. Non rimane che aspettare che i ricercatori addestrino a dovere queste AI, e che altri gruppi di ricerca decidano di seguire la stessa strada.

FONTE: Phys.org
Quanto è interessante?
5