Hallucination (intelligence artificielle)

Pour les articles homonymes, voir Hallucination.

Dans le domaine de l'intelligence artificielle, une hallucination ou une confabulation^[1] est une réponse fausse ou trompeuse qui est présentée comme un fait certain^[2],[3] ; par exemple, un chatbot qui génère un chiffre d'affaires pour une entreprise sans avoir de données à ce sujet^[4].

Ce phénomène est appelé « hallucination » par analogie avec le phénomène de l'hallucination en psychologie humaine. Une différence clé est que l'hallucination humaine est généralement associée à de fausses perceptions, alors qu'une hallucination d'IA est associée à des réponses ou des croyances injustifiées^[5]. Le terme hallucination en intelligence artificielle a pris de l'importance vers 2022 parallèlement au déploiement des modèles de langage basés sur l'apprentissage profond tels que ChatGPT^[6].

Dès 2023, les analystes considèrent les hallucinations comme un problème majeur de ces technologies, un dirigeant de Google identifiant la réduction des hallucinations comme une tâche « fondamentale » pour le concurrent de ChatGPT, Google Gemini^[7],[8]. Ces systèmes d’IA étant « conçus pour être persuasifs, pas véridiques », les résultats peuvent sembler très réalistes mais inclure des affirmations qui ne sont pas vraies^[9].

Dès 2018, des chercheurs de Google utilisent le terme « hallucination » pour décrire les réponses générés par des modèles de traduction automatique neuronale (NMT) lorsqu'elles ne sont pas liées au texte source^[10],[11].

En juillet 2021 pour la sortie du chatbot BlenderBot 2, Meta avertit que le système est sujet aux « hallucinations » que Meta définit comme des « déclarations confiantes qui ne sont pas vraies »^[12]. Le 15 novembre 2022, Meta dévoile une démo de Galactica, un grand modèle de langage (LLM) conçu pour stocker, combiner et raisonner sur les connaissances scientifiques. Le contenu généré par Galactica est accompagné de l'avertissement « les sorties peuvent ne pas être fiables ! Les modèles de langage ont tendance à halluciner le texte ». Meta retire la démo de Galactica le 17 novembre en raison de son caractère offensant et de son inexactitude^[13].

Le 30 novembre 2022, OpenAI publie en version bêta ChatGPT qui est basé sur le modèle de fondation GPT-3.5 (une révision de GPT-3). De nombreux journaux, dont le New York Times ou Le Monde, utilisent alors le terme hallucination pour décrire les réponses parfois erronées ou incohérentes du modèle^[14],[15].

Lorsque Fast Company demande à ChatGPT de générer un article de presse sur le dernier trimestre financier de Tesla ; ChatGPT crée un article cohérent, mais invente les chiffres financiers qu'il contient^[4].

L’experte en science des données Teresa Kubacka raconte avoir délibérément inventé l'expression « électromagnon inversé cycloïdal » et testé ChatGPT en l'interrogeant sur ce phénomène a priori inexistant. ChatGPT a inventé une réponse plausible appuyée par des citations plausibles, qui l'ont obligée à vérifier si elle avait accidentellement tapé le nom d'un phénomène réel^[16].

Lorsqu'on demande à ChatGPT quel est le record du monde pour la traversée à pied de la Manche, il annonce que le record est détenu par Christof Wandratsch qui aurait réalisé la traversée à pied le 14 août 2020 en 14 heures et 51 minutes^[17]. Feite Kraay, expert IA pour KPMG, explique que ChatGPT a probablement combiné plusieurs informations présentes dans ses données d'entrainement liées à la traversée de la Manche pour générer cette hallucination. Christof Wandratsch existe réellement et détient le record de traversée de la Manche à la nage. La date de la traversée hallucinée, le 14 août 2020, correspond à la date de plusieurs articles de presse couvrant un afflux inhabituel de migrants^[18]. La durée de traversée de 14 heures et 51 minutes est le temps mis par Haïke De Vlieger pour traverser la Manche à la nage dans le cadre d'une opération de collecte de fond pour une ferme thérapeutique^[19]. Pour le système d'IA, la combinaison de ces différents points de données permet d'offrir la réponse qui correspond le mieux aux attentes de l'utilisateur^[18].

En mai 2023, lors d'un procès opposant un particulier à une compagnie aérienne, un cabinet d'avocats new-yorkais a rendu au juge un mémoire contenant des précédents judiciaires générés par ChatGPT. Parmi les arrêts cités en guise de jurisprudence, six renvoyaient à de fausses décisions de justice et mentionnaient de fausses citations^[20]. En réponse, Brantley Starr, juge au tribunal du district nord du Texas, a interdit la soumission de documents judiciaires générés par l’IA qui n’ont pas été examinés par un humain, en notant que « les plateformes d’intelligence artificielle générative dans leur état actuel sont sujettes aux hallucinations et aux biais »^[21].

Certains chercheurs en IA s'opposent à l'utilisation du mot hallucination pour les modèles d'apprentissage profond car cela sous-entend qu’ils ont une forme de conscience, ce qui n’est pas le cas^[22]. Selon eux, les grands modèles de langage ressemblent à des « perroquets stochastiques »^[23]. En analysant les relations entre les mots d’un grand corpus de données textuelles, ils sont capables de générer un texte nouveau qui imite le style et le ton d’un humain mais sans comprendre le sens du texte généré^[24].

• Portail de l’intelligence artificielle
• Portail de l’informatique