Perché ChatGPT dà risposte sbagliate? Il problema delle "allucinazioni"

L'accuratezza di ChatGPT è nettamente peggiorata negli ultimi mesi, specie per gli applicativi basati sul modello linguistico GPT-4. Tuttavia, c'è un'altra importante problematica che l'IA porta con sé fin dalla sua nascita: quella delle "allucinazioni". Ma cosa sono queste "allucinazioni" di ChatGPT, e perché si verificano?

La risposta ce la dà TS2.Space, che ha provato a fornire una spiegazione "tecnica" dei problemi di ChatGPT e di tutte le IA generative. Tutti gli applicativi basati sul "linguaggio naturale" (cioè a cui si accede senza scrivere linee di codice) hanno un'architettura nota come "Transformer", composta da una serie di livelli e meccanismi sovrapposti tra loro che permettono al modello di interpretare le domande che gli vengono poste dagli utenti e di apprendere da queste ultime e dai dati che gli vengono forniti.

Durante le fasi di training, ChatGPT viene alimentato con dataset enormi, molti dei quali scritti in linguaggio naturale, tramite cui l'IA impara a creare relazioni e collegamenti tra parole e frasi. Il problema di questo modello, però, è che l'IA non comprende in alcun modo ciò che sta imparando e perché una determinata parola (o frase) sia collegata alle altre. In altre parole, ChatGPT non capisce i concetti che impara o il mondo che lo circonda, come fa invece il cervello umano, ma si limita a generare dei pattern testuali sulla base delle informazioni che gli vengono fornite.

Ciò causa il problema delle "allucinazioni". Se a ChatGPT viene fatta una domanda basata su delle parole che non sono state sufficientemente rappresentate nel suo dataset (come nomi propri di persone, luoghi o eventi storici poco conosciuti, oppure tematiche più recenti dell'ultimo training dell'IA), quest'ultima faticherà a trovare relazioni e collegamenti a partire da queste ultime, portando a risposte poco accurate ed a veri e propri strafalcioni.

A peggiorare le cose sono poi i sistemi di ottimizzazione del training dell'IA. Il sistema di generazione dei testi di ChatGPT si basa sulla distribuzione probabilistica dei collegamenti tra una parola e l'altra, che viene scandagliata con un sistema noto come beam search. Quest'ultimo è molto veloce, ma non certo perfetto: talvolta, infatti, esso fornisce risultati "deliranti", con ripetizioni del testo o frasi prive di senso, dal momento che la priorità viene fornite alle parole che più spesso compaiono vicino a quelle di partenza, e non alla costruzione di un discorso coerente o appropriato.

Infine, a rendere estremamente complessa la soluzione al problema delle allucinazioni di ChatGPT è la mancanza di sistemi di feedback, che limitano l'efficacia del training stesso dell'IA. L'assenza di questi meccanismi, però, potrebbe però essere risolta già nei prossimi mesi, grazie all'intervento di ricercatori e ingegneri.