Une réponse avec des sources peut quand même être fausse

Les assistants d'intelligence artificielle qui citent leurs sources inspirent davantage confiance. Pourtant, une référence affichée ne prouve pas que la réponse est juste : la source peut être mal choisie, dépassée ou ne pas dire ce qu'on lui fait dire. Pour une entreprise, la vérification doit donc faire partie du processus, et de son coût.

De plus en plus d'outils d'IA ne se contentent plus de répondre : ils indiquent d'où vient l'information. Un lien, un numéro de page, le nom d'un document interne. Cette technique est souvent appelée RAG, pour retrieval-augmented generation : avant de rédiger sa réponse, le système va chercher des documents qu'il juge pertinents.

L'idée est bonne et réduit les erreurs. Mais elle ne les supprime pas. Elle peut même les rendre plus difficiles à repérer, parce qu'une réponse accompagnée d'une référence a l'air vérifiée.

Ce qu'une étude a mesuré

Des chercheurs des universités Stanford et Yale ont testé des outils de recherche juridique américains dont les éditeurs promettaient d'éviter les « hallucinations », ces contenus faux présentés avec assurance. Leur protocole, enregistré à l'avance, repose sur plus de 200 questions juridiques. L'étude a été publiée en 2025 dans le Journal of Empirical Legal Studies.

Selon la version publiée, les outils de LexisNexis (Lexis+ AI) et de Thomson Reuters (Westlaw AI-Assisted Research et Ask Practical Law AI) produisaient une réponse hallucinée dans 17 % à 33 % des cas, selon l'outil. C'est moins que l'assistant généraliste GPT-4, testé en comparaison, mais loin de l'absence d'erreur mise en avant par certains éditeurs.

Les auteurs comptent comme hallucination une affirmation fausse, mais aussi le fait d'affirmer qu'une source soutient une affirmation alors que ce n'est pas le cas. Leur version préliminaire cite par exemple une réponse qui s'appuyait sur une jurisprudence de la Cour suprême américaine renversée depuis.

Prudence sur la portée de ces chiffres. L'étude concerne des outils juridiques américains, évalués au printemps 2024. Ces produits ont évolué depuis. Les taux ne décrivent ni leurs versions actuelles ni les outils utilisés par une PME suisse. Ils montrent en revanche qu'afficher des sources ne suffit pas à garantir l'exactitude.

Des erreurs qui arrivent déjà devant les tribunaux

Le problème n'est pas théorique. Damien Charlotin tient une base de données publique des décisions de justice dans lesquelles un tribunal a constaté, ou laissé entendre, qu'une partie s'était appuyée sur un contenu halluciné par une IA. Au 5 novembre 2026, date de sa dernière mise à jour, elle recensait 2266 décisions dans le monde. Elle ne prétend pas couvrir tous les cas existants.

La base distingue plusieurs types d'erreurs : des références inventées, des citations fausses, des conseils fondés sur des règles abrogées, et des sources réelles dont le contenu est déformé. Cette dernière catégorie apparaît dans 960 décisions, une même décision pouvant relever de plusieurs catégories. C'est la plus insidieuse : la décision ou la loi existe bien, elle ne dit simplement pas ce que la réponse affirme.

Ces décisions concernent surtout des personnes qui plaident sans avocat et des avocats, principalement aux États-Unis. Elles montrent qu'une erreur non vérifiée finit par coûter : avertissements, mémoires écartés, sanctions financières.

Organiser le contrôle, plutôt que l'espérer

Pour une entreprise, la conclusion n'est pas d'abandonner ces outils, mais de traiter leurs réponses comme un brouillon. Le NIST, l'institut américain de normalisation, range d'ailleurs la « confabulation », c'est-à-dire la production de contenus faux énoncés avec assurance, parmi les risques propres à l'IA générative.

La Law Society, qui représente les solicitors d'Angleterre et du pays de Galles, recommande de mettre en place un processus constant de vérification des résultats de l'IA, et de documenter les entrées, les sorties et les erreurs constatées lorsque l'outil ne le fait pas lui-même.

Pour un livrable sensible, comme une offre chiffrée, une note juridique ou une réponse écrite à un client, un circuit de contrôle peut tenir en quelques étapes :

• ouvrir chaque source citée et vérifier qu'elle dit bien ce que la réponse lui attribue ;
• contrôler les chiffres, les dates et la version des documents, car une règle interne de 2023 a pu être remplacée ;
• confier la relecture à une personne compétente sur le fond, pas seulement sur la forme ;
• garder une trace simple de la vérification : qui a relu, quand, avec quelles corrections.

Le temps de vérification fait partie du calcul

Ce contrôle a un coût. Une réponse obtenue en quelques secondes peut demander de longues minutes de vérification si elle s'appuie sur une dizaine de documents. Ce temps ne doit pas disparaître des calculs de productivité : c'est le prix de la fiabilité.

Une référence indique où regarder. Elle ne dispense pas de regarder.

Sources principales

• Magesh, Surani, Dahl, Suzgun, Manning et Ho, Hallucination-Free? Assessing the Reliability of Leading AI Legal Research Tools, Journal of Empirical Legal Studies, publié le 23 avril 2025 (notice de l'Université Yale).
• Mêmes auteurs, version préliminaire de l'étude, Stanford, mai 2024.
• Damien Charlotin, AI Hallucination Cases Database, mise à jour du 5 novembre 2026.
• NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1), 26 juillet 2024.
• The Law Society, Generative AI – the essentials, mise à jour du 30 juin 2026.

Article documentaire. Aucun outil n'a été testé par LEMOVIA. Les taux cités proviennent d'une étude universitaire portant sur des produits juridiques américains en 2024 et ne sont pas transposables aux versions actuelles.