Netflix: cos'è AVA e perché è essenziale per la qualità grafica del servizio

Oggi andiamo dietro le quinte di Netflix per parlarvi di AVA, una raccolta di strumenti e algoritmi utilizzati per creare le miniature.

speciale Netflix: cos'è AVA e perché è essenziale per la qualità grafica del servizio
Articolo a cura di
Andrea Zanettin Andrea Zanettin segue da sempre con passione tutto ciò che riguarda la tecnologia: qualsiasi cosa abbia un chip stuzzica la sua curiosità. Sviluppa anche applicazioni per vari sistemi operativi (sia su ambiente desktop che mobile). Potete seguirlo su Twitter, Instagram, Facebook e Google+.

Tutti oramai conosciamo Netflix, ma in pochi conoscono le tecnologie che lavorano nei suoi meandri. In particolare, un'operazione apparentemente semplice come scegliere la miniatura adatta per un determinato contenuto richiede in realtà una procedura molto rigida. Questa, infatti, deve essere in grado di portare il maggior risultato possibile, invogliando l'utente a visionare il contenuto. Vista la mole di film, serie TV e documentari disponibili sulla piattaforma, però, questa procedura deve per forza di cose essere automatizzata, con solamente l'ultimo passaggio effettuato da una persona in carne e ossa.

La scelta delle miniature

I team Creative Platform Engineering e Global Product Creative di Netflix sono consapevoli del fatto che le immagini svolgono un ruolo incredibilmente importante nella scelta dei contenuti da parte degli utenti. La piattaforma, dunque, ha recentemente assegnato a questi tecnici il compito di trovare nuovi modi per automatizzare il processo di scelta delle miniature. Il risultato è che ora vengono estratti direttamente dai contenuti originali una miriade di fotogrammi video statici. Per farvi capire la mole, in un episodio di un'ora di Stranger Things ci sono circa 86.000 frame di questo tipo.
Netflix possiede, dunque, un quantitativo enorme di opportunità per ampliare la portata dei suoi contenuti, anche se alcune limitazioni in realtà esistono. La scelta finale della miniatura deve infatti essere portata a termine da persone in carne e ossa, che si ritroveranno con una serie di possibili scelte già filtrate da un algoritmo. Quest'ultimo non è però, per forza di cose, in grado di stabilire appieno quale immagine possa piacere di più all'utenza. Nonostante questo, le operazioni svolte da esso sono alquanto complesse e straordinariamente interessanti.

AVA

AVA è una raccolta di strumenti e algoritmi progettati per estrarre immagini di alta qualità dai video presenti su Netflix. Una singola stagione di una serie TV (10 episodi) contiene circa 9 milioni di frame totali. Capite bene che chiedere al team di creativi della piattaforma di analizzare in modo efficiente questa mole di dati è utopia. É stato quindi deciso di far sviluppare uno strumento in grado di identificare in modo rapido ed efficace quali fotogrammi sono i migliori per rappresentare un contenuto. Per raggiungere l'obiettivo, il team si è concentrato su una serie di fattori oggettivi che un algoritmo è in grado di verificare per ogni singolo fotogramma del video. Alcuni tra i fattori più importanti che si possono rilevare già in questa fase sono luminosità, colore, contrasto e soggetti in movimento. Già con queste informazioni l'algoritmo scarta buona parte dei frame ottenuti in precedenza. La forza di AVA, però, consiste nel fatto che esso è in grado di rilevare i volti, le pose e le emozioni dei soggetti. Per farvi un esempio concreto, se il protagonista è presente nel frame ma è in un angolo dell'inquadratura e sta piangendo, probabilmente quella non è l'immagine più adatta a rappresentare un contenuto, motivo per il quale l'algoritmo la scarta.

A questo punto, i frame cestinati sono già molti e quindi il passo successivo è far emergere i migliori candidati al ruolo di miniatura. AVA esegue, dunque, la sua ultima selezione attraverso un processo di artwork pipeline, in modo da fornire al team un piccolo set di immagini di alta qualità. La miniatura finale viene poi scelta proprio dai creativi di Netflix, che tengono in considerazione la presenza dei personaggi principali nel frame, la qualità generale dell'immagine e l'assenza di contenuti dannosi o offensivi.
In particolare, gli attori giocano un ruolo molto importante nella scelta della miniatura. Tra un frame dove compare un personaggio secondario e uno in cui c'è anche il protagonista, ovviamente viene scelto quest'ultimo. Infine, per quanto riguarda i contenuti, il team provvede a scartare tutte quelle immagini che contengono scene non adatte ai minori o loghi di cui Netflix non possiede i diritti. Insomma, una cosa apparentemente semplice come la scelta della miniatura di un contenuto è in realtà un processo che impiega tecnologie molto avanzate e personale qualificato.