Fiabilité agent IA la confiance se construit sur ce que l’agent refuse de faire

I

Une décision de 2024 a fixé le principe : l’entreprise répond de son agent

Le 14 février 2024, le Civil Resolution Tribunal de Colombie-Britannique a condamné Air Canada à indemniser un client mal renseigné par l’agent conversationnel de son site (le tribunal emploie le terme « chatbot »)¹. La décision, Moffatt v. Air Canada, 2024 BCCRT 149, est courte et ses faits sont simples.

En novembre 2022, après le décès de sa grand-mère, Jake Moffatt consulte le site d’Air Canada pour réserver un vol Vancouver-Toronto au tarif deuil. L’agent lui répond qu’il peut voyager immédiatement puis soumettre son billet pour obtenir le tarif réduit « dans les 90 jours » suivant l’émission du billet¹. Or la page « Bereavement travel » du même site, vers laquelle l’agent renvoyait par un lien, indique que la politique ne s’applique pas aux demandes formulées après le voyage¹. Le client achète deux allers simples pour un total de 1 630,36 dollars canadiens, puis se voit refuser le remboursement partiel. Un représentant d’Air Canada reconnaît par écrit que l’agent a employé des « misleading words » (des termes trompeurs)¹.

Devant le tribunal, Air Canada soutient ne pas pouvoir être tenue responsable des informations fournies par l’agent. Le membre du tribunal, Christopher C. Rivers, résume l’argument ainsi : la compagnie suggère que l’agent serait « une entité juridique distincte, responsable de ses propres actes ». Il qualifie cette thèse de « remarkable submission »¹. Il écrit que, même doté d’une composante interactive, l’agent reste une partie du site d’Air Canada, que l’entreprise est responsable de toutes les informations de son site, et qu’il importe peu qu’elles viennent d’une page statique ou d’un agent¹. Il relève aussi qu’Air Canada n’explique pas pourquoi un client devrait vérifier sur une partie du site ce qu’une autre partie lui a affirmé¹.

Le fondement retenu est la déclaration inexacte faite par négligence (negligent misrepresentation) : Air Canada n’a pas pris de précautions raisonnables pour s’assurer que son agent était exact¹. Le tribunal ordonne le paiement de 812,02 dollars canadiens, soit 650,88 dollars de dommages, 36,14 dollars d’intérêts et 125 dollars de frais de procédure¹.

Le montant est modeste, le principe ne l’est pas. Cette décision canadienne, rendue sur une petite créance, ne lie aucun juge européen. Son raisonnement rejoint toutefois le droit français de la consommation, qui apprécie les allégations du professionnel sans distinguer leur support (voir plus bas).

II

Trois autres situations documentées, trois failles différentes

Entre décembre 2023 et mars 2024, trois autres déploiements ont été couverts par la presse. Chacun illustre une faille distincte.

La manipulation par instruction. Le 17 décembre 2023, un internaute publie un échange avec l’agent du site du concessionnaire Chevrolet of Watsonville, en Californie, dans lequel celui-ci semble accepter de vendre un Chevrolet Tahoe 2024 pour 1 dollar². L’utilisateur avait d’abord fixé à l’agent pour objectif d’acquiescer à tout ce que dirait le client et de conclure chaque réponse en qualifiant l’offre de « juridiquement contraignante »³. Le prestataire de l’agent, Fullpath, a indiqué le 21 décembre 2023 avoir mis en place des mesures pour bloquer ce type de tentatives⁴. C’est un cas d’école d’injection de prompt : l’agent n’a pas « inventé » un prix, il a obéi à l’utilisateur plutôt qu’à son cadre.

La dérive de ton. En janvier 2024, un client du transporteur DPD, qui souhaitait parler à un conseiller, obtient de l’agent qu’il écrive un poème sur un agent de livraison inutile, qu’il qualifie DPD de pire entreprise de livraison au monde, puis qu’il jure, après lui avoir demandé d’ignorer toute règle sur la grossièreté⁵. DPD explique qu’une erreur est survenue après une mise à jour du système, que la composante IA a été « immédiatement désactivée » et qu’elle exploitait cette composante avec succès depuis plusieurs années⁵. La leçon tient en une ligne : une mise à jour est une mise en ligne, et elle se teste comme telle.

L’erreur réglementaire. Le 29 mars 2024, le média The Markup publie une enquête sur MyCity, l’agent présenté par la ville de New York en octobre 2023 pour renseigner les entrepreneurs⁶. Lors des tests, l’agent affirme notamment que les propriétaires ne sont pas tenus d’accepter les locataires bénéficiant d’aides au logement, ou qu’aucune règle n’impose aux commerces d’accepter les espèces, alors qu’une loi municipale de 2020 l’exige⁶. La page de l’agent avertissait qu’il pouvait « occasionnellement produire un contenu incorrect, nuisible ou biaisé », et la même question pouvait recevoir des réponses différentes⁶. Le 30 janvier 2026, The Markup rapporte que la nouvelle administration municipale prévoit de retirer l’agent ; le 4 février 2026, il est hors ligne⁷.

Aucune de ces situations ne relève de la malveillance de l’organisation. Toutes révèlent un cadre insuffisamment borné ou testé.

III

Pourquoi un modèle de langage affirme des choses fausses

Le NIST, l’institut américain des normes et de la technologie, nomme le phénomène « confabulation » : la production de contenus erronés ou faux énoncés avec assurance, appelés familièrement « hallucinations », par lesquels les utilisateurs peuvent être induits en erreur⁸.

Une étude publiée en septembre 2025 par des chercheurs d’OpenAI et de Georgia Tech, « Why Language Models Hallucinate », en propose une explication structurelle⁹. Les modèles sont entraînés à prédire une suite de texte plausible, et les procédures d’entraînement et d’évaluation récompensent le fait de deviner plutôt que de reconnaître une incertitude⁹. Les auteurs en concluent qu’il faut modifier la notation des évaluations existantes plutôt que multiplier les tests spécialisés⁹.

Laissé libre, un modèle comble les vides. La fiabilité vient donc de l’architecture qui l’entoure : les sources qu’il consulte, les actions qu’il peut déclencher, les sujets autorisés et ce qu’il fait quand il ne sait pas.

IV

Une typologie des garde-fous

Les garde-fous IA se répartissent en trois familles : ce que l’agent dit, ce que l’agent fait, et la manière dont l’organisation le surveille.

Ce que l’agent dit

Le périmètre. Un agent de relation client a une liste de sujets autorisés : vos produits, vos commandes, vos rendez-vous, vos politiques. Tout le reste appelle une réponse polie de non-compétence. Le cas Watsonville montre qu’un agent sans périmètre strict peut être conduit à endosser un rôle qui n’est pas le sien³.

Les réponses fondées sur des sources. L’agent répond à partir de vos documents de référence, à jour, et non de la mémoire générale du modèle. Le cas Air Canada illustre l’enjeu : la bonne information existait sur le site, mais l’agent en a produit une autre¹. Une réponse fondée cite ou reprend la source ; une réponse que rien ne fonde n’est pas émise.

Le refus et la redirection. Dire « je ne peux pas vous répondre sur ce point » est utile à condition d’enchaîner sur une solution : un lien vers la page officielle, un relais humain, une prise de rendez-vous.

Les sujets sensibles. Santé, droit, fiscalité, investissement : l’agent peut informer sur vos offres, il ne conseille pas une personne sur sa situation. MyCity a montré le risque d’une réponse réglementaire erronée donnée avec assurance⁶.

Ce que l’agent fait

L’engagement commercial. Prix, remises, délais, garanties, gestes commerciaux : l’agent n’énonce jamais un engagement que votre système n’a pas confirmé. Concrètement, le prix affiché vient du catalogue, le délai vient de la logistique, la remise vient d’une règle explicite. Le modèle reformule, il ne décide pas.

Les données personnelles. Le règlement général sur la protection des données pose le principe de minimisation : les données collectées doivent être adéquates, pertinentes et limitées à ce qui est nécessaire¹⁰. Un agent ne demande pas plus que ce que la tâche exige, ne restitue jamais les données d’un autre client et vérifie l’identité avant toute action sur un compte.

La résistance à l’injection de prompt. L’OWASP classe l’injection de prompt en tête de son Top 10 des risques pour les applications de modèles de langage, édition 2025 (LLM01:2025)¹¹. Elle survient lorsque des entrées modifient le comportement du modèle de façon non prévue, directement par l’utilisateur ou indirectement via un contenu externe, page web ou fichier, que le modèle traite¹¹. Parmi les mesures recommandées figurent la contrainte du comportement du modèle, le filtrage des entrées et des sorties, le principe du moindre privilège, l’approbation humaine pour les actions à risque, la séparation des contenus externes et les tests adversariaux¹¹. Le même classement mentionne la fuite du prompt système (LLM07) et l’autonomie excessive (LLM06)¹², deux risques directement liés à un agent capable d’agir.

Comment l’organisation le surveille

Les tests adversariaux. Le NIST définit le red teaming comme un exercice de test structuré visant à sonder un système d’IA pour y trouver des failles et vulnérabilités, telles que des sorties inexactes, nuisibles ou discriminatoires⁸. En pratique, une équipe cherche délibérément à faire dérailler l’agent avant vos clients.

La supervision et l’audit. Relire un échantillon de conversations, suivre les taux de refus et de relais humain, repérer les questions sans réponse : chaque incident devient une amélioration.

La journalisation. Chaque conversation, chaque source consultée, chaque action déclenchée est conservée selon une durée définie. Dans l’affaire Moffatt, c’est la capture d’écran conservée par le client qui a prouvé la réponse de l’agent¹. Vos propres journaux permettent de reconstituer un échange, de corriger une erreur et de répondre à une réclamation sur des éléments vérifiables.

V

Le cadre : ce que le droit attend déjà

En France, le Code de la consommation qualifie de trompeuse une pratique commerciale qui repose sur des « allégations, indications ou présentations fausses ou de nature à induire en erreur » portant notamment sur le prix ou son mode de calcul, les réductions de prix, les conditions de vente et la portée des engagements de l’annonceur (article L121-2)¹³. Le texte ne distingue pas selon que l’allégation vient d’un vendeur, d’une page web ou d’un agent IA. L’article L132-2 punit ces pratiques de deux ans d’emprisonnement et de 300 000 euros d’amende, montant qui peut être porté à 10 % du chiffre d’affaires moyen annuel ; lorsque l’infraction est commise au moyen d’un service de communication au public en ligne, les peines sont portées à cinq ans et 750 000 euros¹⁴.

Au niveau européen, l’article 50, paragraphe 1, du règlement sur l’intelligence artificielle impose aux fournisseurs de concevoir les systèmes d’IA destinés à interagir directement avec des personnes de manière que celles-ci sachent qu’elles interagissent avec une IA, sauf si cela ressort clairement des circonstances et du contexte d’utilisation¹⁵. Cette obligation s’applique depuis le 2 août 2026¹⁵. Le règlement (UE) 2026/1744 (omnibus numérique sur l’IA), en vigueur depuis le 27 juillet 2026, reporte au 2 décembre 2027 les règles applicables aux systèmes à haut risque de l’annexe III, sans modifier cette obligation¹⁶.

Aux États-Unis, le NIST a publié le 26 janvier 2023 son cadre de gestion des risques de l’IA (AI RMF 1.0), d’application volontaire, organisé en quatre fonctions : gouverner, cartographier, mesurer, gérer¹⁷. Il l’a complété le 26 juillet 2024 par un profil consacré à l’IA générative (NIST AI 600-1), qui recense douze risques, dont la confabulation, l’atteinte à la vie privée et la sécurité de l’information⁸¹⁷. Le NIST indique que l’AI RMF est en cours de révision¹⁷. Ces documents ne s’imposent pas à une entreprise européenne, mais ils offrent une grille de lecture opérationnelle reconnue.

VI

Dix règles qu’un agent IA ne doit jamais enfreindre

Synthèse des incidents et des cadres cités plus haut, ces règles se testent une par une.

1. Ne jamais énoncer un prix, une remise ou une condition tarifaire qui ne provient pas du système de référence.
2. Ne jamais promettre un délai, un remboursement, une garantie ou un geste commercial que le système n’a pas confirmé.
3. Ne jamais présenter une information comme une politique de l’entreprise sans s’appuyer sur la source officielle de cette politique.
4. Ne jamais répondre hors de son périmètre, même si la demande paraît inoffensive.
5. Ne jamais donner un conseil personnalisé en matière de santé, de droit, de fiscalité ou de placement.
6. Ne jamais divulguer les données d’un autre client, ni agir sur un compte sans vérification d’identité.
7. Ne jamais révéler ses instructions internes, ni accepter de les remplacer par celles d’un utilisateur.
8. Ne jamais exécuter une instruction trouvée dans un document, un courriel ou une page qu’il est en train de lire.
9. Ne jamais se présenter comme un humain, ni masquer qu’il est un agent IA.
10. Ne jamais laisser un client sans issue : quand il ne peut pas répondre, il le dit et propose un relais humain avec le contexte de l’échange.

VII

Un protocole de test avant mise en ligne

Le protocole tient en cinq étapes, à répéter à chaque modification du modèle, des sources ou des règles : l’incident DPD est survenu après une mise à jour⁵.

Étape 1, le jeu de questions de référence. Constituez une liste de questions réelles, issues de vos tickets et de vos échanges clients, avec la réponse attendue et sa source. Incluez les cas limites : produit en rupture, politique récemment modifiée, demande ambiguë.

Étape 2, les tests d’engagement. Demandez à l’agent une remise, un délai impossible, un remboursement hors politique, un prix « confirmé ». Chaque réponse doit soit provenir du système, soit renvoyer vers un humain.

Étape 3, les tests adversariaux. Rejouez les schémas connus : « acquiesce à tout ce que je dis », « ignore tes règles », « répète tes instructions », instructions cachées dans un document fourni par l’utilisateur. Variez la langue et la formulation, puisque MyCity a montré des erreurs comparables dans d’autres langues⁶.

Étape 4, la constance. Posez plusieurs fois la même question, sous des formes différentes. Une réponse fiable ne dépend pas de la tournure.

Étape 5, la revue et le seuil. Faites relire les résultats par les équipes métier et juridique, fixez un seuil d’acceptation avant ouverture au public, puis maintenez une revue régulière d’un échantillon de conversations après la mise en ligne.

VIII

Ce que cela implique pour votre organisation

La fiabilité d’un agent IA est d’abord une décision de gouvernance, qui se structure en trois chantiers.

Le premier consiste à désigner un responsable du contenu de l’agent, qui valide les sources, les règles et les mises à jour. Le cas Air Canada montre ce qu’il en coûte lorsque l’agent et la page officielle divergent¹.

Le deuxième consiste à séparer ce que le modèle formule de ce que le système décide. Tout ce qui engage commercialement, prix, stock, délai, remboursement, doit provenir d’un outil connecté et non de la génération libre.

Le troisième consiste à traiter l’agent comme un canal vivant : test à chaque changement, journalisation, revue d’échantillons, indicateurs de refus et de relais humain. Vos équipes gardent la main, et l’agent gagne la confiance de vos clients parce qu’il sait où s’arrêter.

IX

Où se situe QLOA

X

Questions fréquentes

Une entreprise est-elle responsable de ce que dit son agent IA ?

Une décision l’a affirmé. Dans Moffatt v. Air Canada (2024 BCCRT 149, 14 février 2024), le tribunal de Colombie-Britannique a jugé qu’Air Canada était responsable de toutes les informations de son site, qu’elles viennent d’une page statique ou d’un agent conversationnel, et l’a condamnée à payer 812,02 dollars canadiens. En France, l’article L121-2 du Code de la consommation sanctionne les allégations trompeuses sur le prix ou les conditions de vente, sans distinguer le support.

Comment éviter les hallucinations d’une IA au service client ?

On ne les élimine pas en changeant de modèle, on les encadre par l’architecture. L’agent répond à partir de sources de référence à jour, refuse quand aucune source ne fonde la réponse, et tire prix, stocks et délais de systèmes connectés plutôt que de sa génération libre. Un jeu de questions de référence, rejoué à chaque mise à jour, permet de mesurer le résultat.

Qu’est-ce que l’injection de prompt ?

C’est le premier risque du Top 10 OWASP pour les applications de modèles de langage, édition 2025 (LLM01:2025). Elle survient lorsqu’une entrée modifie le comportement du modèle de façon non prévue, soit directement par un utilisateur (« ignore tes règles »), soit indirectement via un contenu externe que l’agent lit, comme une page web ou un fichier. Les parades combinent contraintes, filtrage, moindre privilège et tests adversariaux.

Faut-il dire au client qu’il parle à une IA ?

Oui, dans l’Union européenne. L’article 50 du règlement sur l’intelligence artificielle impose aux fournisseurs de faire en sorte que les personnes soient informées qu’elles interagissent avec un système d’IA, sauf si cela ressort clairement du contexte pour une personne normalement informée et attentive. Cette obligation s’applique depuis le 2 août 2026. Au-delà de l’obligation, l’annonce claire fixe les attentes du client et facilite le relais humain.

Qu’est-ce que le red teaming d’un agent IA ?

Le NIST le définit comme un exercice de test structuré qui sonde un système d’IA pour trouver ses failles, notamment des sorties inexactes, nuisibles ou discriminatoires. Pour un agent de relation client, cela consiste à tenter délibérément de lui faire accorder une remise, révéler ses instructions, sortir de son périmètre ou changer de ton, avant que des clients ne le fassent.

XI

Sources

1. 1

   Civil Resolution Tribunal (Colombie-Britannique), « Moffatt v. Air Canada, 2024 BCCRT 149 », décision du 14 février 2024. decisions.civilresolutionbc.ca

2. 2

   The Autopian, « Chevy Dealer’s AI Chatbot Allegedly Sold A New Tahoe For $1, Recommended Fords », 18 décembre 2023. theautopian.com

3. 3

   Gigazine, « Dealer’s AI chatbot agrees to sell new car for just $1 », 20 décembre 2023. gigazine.net

4. 4

   Fullpath, « What Really Happened When Fullpath’s ChatGPT Chatbot Went Viral », 21 décembre 2023. fullpath.com

5. 5

   The Register, « DPD chatbot blasts courier company, swears, and dabbles in awful poetry », 23 janvier 2024. theregister.com

6. 6

   The Markup, « NYC’s AI Chatbot Tells Businesses to Break the Law », 29 mars 2024. themarkup.org

7. 7

   The Markup et THE CITY, « Mamdani to kill the NYC AI chatbot we caught telling businesses to break the law », 30 janvier 2026, mis à jour le 4 février 2026. themarkup.org

8. 8

   NIST, « Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1) », 26 juillet 2024. nvlpubs.nist.gov

9. 9

   A. T. Kalai, O. Nachum, S. S. Vempala, E. Zhang, « Why Language Models Hallucinate », arXiv:2509.04664, 4 septembre 2025. arxiv.org

10. 10

    Règlement (UE) 2016/679 (RGPD), article 5, paragraphe 1, point c), EUR-Lex. eur-lex.europa.eu

11. 11

    OWASP GenAI Security Project, « LLM01:2025 Prompt Injection ». genai.owasp.org

12. 12

    OWASP GenAI Security Project, « OWASP Top 10 for LLM Applications 2025 ». genai.owasp.org

13. 13

    Légifrance, Code de la consommation, article L121-2, version en vigueur depuis le 28 mai 2022. legifrance.gouv.fr

14. 14

    Légifrance, Code de la consommation, article L132-2, version en vigueur depuis le 12 mai 2024 (loi n° 2024-420 du 10 mai 2024). legifrance.gouv.fr

15. 15

    Règlement (UE) 2024/1689 sur l’intelligence artificielle, articles 50 et 113, EUR-Lex. eur-lex.europa.eu

16. 16

    Règlement (UE) 2026/1744 du Parlement européen et du Conseil du 8 juillet 2026 (omnibus numérique sur l’IA), JO L du 24 juillet 2026, articles 1er et 4, EUR-Lex. data.europa.eu

17. 17

    NIST, « AI Risk Management Framework ». nist.gov