Google crea un test per misurare le abilità di ragionamento di un'IA

Misurare le abilità di ragionamento di un'IA non è assolutamente un compito facile da svolgere. Eppure, Google, attraverso la sua controllata DeepMind, è riuscita nell'impresa di creare un test che fa proprio questo.

Quest'ultimo, sviluppato per capire quanto un'intelligenza artificiale è distante da quella umana, è stato pubblicato in un articolo realizzato proprio dal team di DeepMind.

Nell'uomo, misuriamo il ragionamento astratto usando test di intelligenza visiva abbastanza semplici. Un test popolare, chiamato Matrici Progressive di Raven, presenta diverse file di immagini con la riga finale in cui manca un'immagine. Spetta poi alla mente umana il cercare di scegliere l'immagine che dovrebbe venire dopo in base al modello delle righe presentate in modo completo.

Il test non dice alle persone che cosa cercare nelle immagini - forse la progressione ha a che fare con il numero di oggetti all'interno di ciascuna immagine, con il loro colore o con il loro posizionamento. Spetta a loro capirlo da soli usando la loro capacità di ragionare in modo astratto.

Ebbene, i ricercatori di DeepMind hanno somministrato una variante di questo test alle intelligenze artificiali, attraverso un programma in grado di generare problemi di matrice univoci. Successivamente, hanno addestrato vari sistemi di intelligenza artificiale per risolvere questi problemi di matrice.

I risultati del test non sono stati eccezionali. Infatti, quando i problemi di allenamento e quelli di test si concentravano sugli stessi fattori astratti, i sistemi andavano bene, rispondendo correttamente il 75% delle volte. Tuttavia, le IA si sono rivelate molto "scarse" se il set di test differiva da quello di addestramento, anche quando la variazioni erano minime.

In definitiva, il test AI IQ del team di DeepMind dimostra che anche alcune delle IA più avanzate sviluppate ad oggi non riescono a risolvere dei problemi non presenti in fase di allenamento. Ciò significa che probabilmente siamo ancora lontani da un'intelligenza artificiale che si avvicini a quella umana. Ma almeno ora Google dispone un modo semplice per monitorare i progressi in tal senso.