Hallucination

Dans l'IA générative, le terme « hallucination » est souvent utilisé pour décrire du contenu généré qui est faux ou non soutenu par l'entrée, les sources fournies ou des preuves vérifiables - même s'il semble plausible [1][2].

Une hallucination se produit lorsqu'un contenu généré n'est pas suffisamment soutenu par les preuves disponibles. Un langage fluide ou confiant peut rendre le problème plus difficile à détecter. Elle peut inventer un fait, mal représenter une source réelle, combiner des détails provenant de différents contextes, ou fournir une citation qui semble correcte mais ne soutient pas l'affirmation.

Les chercheurs et les organismes de normalisation n'utilisent pas toujours le terme de la même manière. Le NIST utilise souvent le terme « confabulation ». Cette page se concentre sur les échecs de faits et de fondement, et non sur chaque type de sortie faible ou de qualité inférieure d'IA.

La hallucination n'est pas seulement une erreur de l'utilisateur ou une erreur rare de frappe. Le NIST identifie la confabulation et les problèmes de fiabilité associés comme des risques dans les systèmes d'IA générative qui nécessitent une gouvernance, une mesure et une surveillance [1]. Une enquête ACL de 2024 considère la hallucination comme un problème large à travers les grands modèles de langage, d'images, de vidéos et d'audio, avec différentes causes et méthodes de détection selon les domaines [2].

Les hallucinations sont importantes car les sorties d'IA arrivent souvent sous une forme soignée. Un texte fluide peut faire paraître une preuve faible comme forte. Une liste à puces soignée peut cacher un manque de contexte. Une citation fausse peut sembler plus fiable qu'une réponse honnête « Je ne sais pas. »

Pour les utilisateurs quotidiens, le principal risque n'est pas que chaque réponse soit fausse. Le risque est que certaines réponses erronées soient difficiles à détecter. Si un outil d'IA invente une règle de produit, une citation de réunion, une source de recherche ou une exception de politique, l'utilisateur peut transmettre l'erreur dans ses devoirs scolaires, son assistance client, ses décisions de gestion ou son contenu public.

Le problème est plus aigu lorsque l'utilisateur est fatigué, pressé ou peu familier avec le sujet. Une réponse fluide peut sembler une confirmation, surtout lorsqu'elle correspond à ce que l'utilisateur s'attendait à entendre. Richbay devrait apprendre aux lecteurs à ralentir au moment où une affirmation devient suffisamment utile pour agir, car c'est à ce moment que les preuves comptent.

Un modèle de langage génère du texte à partir de modèles et de contexte. Il ne connaît pas automatiquement les affirmations vérifiées. Si la requête demande des informations manquantes, ambiguës, obsolètes ou hors du matériel fourni, le modèle peut quand même produire une réponse fluide. Cette réponse peut inclure des détails qui n'ont jamais été soutenus par la requête ou les sources.

L'enquête ACL décrit les hallucinations comme un problème à plusieurs causes, pas un seul bug avec une seule solution [2]. Les causes peuvent inclure les données d'entraînement, le comportement du modèle, les choix de décodage, le manque de fondement, les prompts ambigus ou les écarts d'évaluation. Dans les environnements de produit, les systèmes environnants peuvent ajouter plus de points de défaillance, tels que des récupérations défectueuses, des documents obsolètes ou une utilisation d'outils non sécurisés.

OpenAI explique à ses utilisateurs que ChatGPT peut être inexact et que les informations importantes doivent être vérifiées, ce qui constitue une orientation utile spécifique au fournisseur pour cette famille de produits [3]. OpenAI affirme également, dans des documents de recherche, que certaines incitations d'évaluation peuvent récompenser des réponses confiantes même lorsqu'une incertitude serait préférable [4]. Ces points soutiennent la prudence, mais ils ne devraient pas être transformés en taux universel de hallucinations.

Les hallucinations peuvent prendre différentes formes. Certaines sont des faits inventés. Certaines sont des faits réels utilisés au mauvais endroit. Certaines sont des résumés qui omettent une condition. Certaines sont des citations qui pointent vers une source réelle mais pas vers l'affirmation à côté. Pour les utilisateurs, la question pratique n'est pas seulement « La réponse est-elle fausse ? » Elle est aussi « Cette affirmation précise est-elle suffisamment étayée pour cette utilisation ? »

Dans un exemple hypothétique, un étudiant demande à un assistant IA : « Trouvez trois articles académiques sur le sommeil et la mémoire, et donnez-moi les références. » L'assistant retourne trois références qui ont l'air formelles. Un article existe, un titre est proche mais les auteurs sont faux, et une référence est entièrement inventée.

La réponse générée n'est pas inutile, mais elle n'est pas prête à être soumise. L'étudiant doit chercher chaque titre dans une base de données de bibliothèque ou sur le site de l'éditeur, ouvrir l'enregistrement de l'article, confirmer les auteurs et les détails de publication, et vérifier si l'article soutient effectivement la phrase écrite. Si une citation ne peut pas être trouvée, elle doit être supprimée au lieu d'être considérée comme fiable.

Une idée fausse courante est que les hallucinations peuvent être corrigées en posant des questions plus poliment ou en ajoutant "ne pas halluciner" à la requête. Une formulation claire peut aider à fixer des limites, mais elle ne garantit pas la vérité. Un modèle peut toujours produire des affirmations non étayées lorsqu'une tâche demande des faits qu'il ne possède pas ou lorsqu'un contexte fourni est incomplet.

Une autre idée fausse est que les références résolvent automatiquement le problème. Les références aident uniquement si elles sont réelles, pertinentes et soutiennent réellement l'affirmation. Un lien de source peut être cassé, non lié, obsolète ou associé à la mauvaise phrase.

Le risque dépend de la décision. Un détail inventé dans une recommandation de film est généralement à faible enjeu. Une procédure de sécurité hallucinée, une règle juridique, un détail financier, une déclaration médicale ou un fait sur un compte client peut causer des dommages réels. Le NIST considère les risques liés à l'IA générative comme dépendants du contexte, ce qui signifie que le processus de revue doit correspondre aux enjeux [1].

Il n'existe pas de taux de « hallucination » public universel qui s'applique à chaque modèle, tâche, langue, produit et date. Les taux varient selon le design d'évaluation, le domaine, la requête, la configuration de récupération et la version du modèle. Publier un seul chiffre sans source vérifiée et sans contexte tromperait les lecteurs.

Lorsqu'une réponse d'IA contient des affirmations factuelles, demandez : Quelles affirmations seraient importantes si elles étaient fausses ? Chaque affirmation importante a-t-elle une source ? Ai-je ouvert la source ? La source dit-elle la même chose ? La source est-elle suffisamment récente ? L'affirmation est-elle en dehors du matériel fourni ? L'IA exprime-t-elle de l'incertitude là où elle devrait le faire ?

Utilisez une plus grande prudence lorsque la réponse inclut des citations, des statistiques, des citations, des règles de politique, des personnes nommées, des dates, des limites techniques, du langage juridique, du langage médical, des conseils de sécurité ou des instructions qui affectent d'autres personnes. Traitez la sortie comme une piste à explorer, et non comme une preuve.

Si une affirmation ne peut pas être vérifiée, réduisez son statut. Réécrivez-la comme une possibilité, supprimez-la ou demandez une source que vous pouvez ouvrir. Si la tâche est à enjeux élevés et qu'aucune source fiable n'est disponible, la bonne réponse peut être d'arrêter plutôt que de polir la sortie de l'IA. Un utilisateur soigneux n’a pas besoin de ne pas faire confiance à chaque réponse ; il doit faire correspondre sa confiance aux preuves, au contexte et aux dommages possibles.