Votre assistant IA est en ligne depuis trois mois. La démo avait convaincu tout le monde et les premiers retours étaient bons. Puis un commercial signale une réponse fausse sur une condition de garantie. Vous apprenez ensuite qu’un autre a cessé de s’en servir sans rien dire. Mais personne dans l’entreprise ne sait dire si l’outil répond juste dans 95 % des cas ou dans 70 %. Évaluer une IA en production est le sujet que les contenus sur l’IA en entreprise passent sous silence. En effet, on parle beaucoup du lancement, presque jamais de ce qui se passe après.
Chez Playmoweb, nous concevons des assistants et des agents IA pour des PME et des ETI depuis Angers. Nos propres projets nous ont d’ailleurs appris une chose : une IA n’est pas un logiciel classique qui reste stable tant qu’on n’y touche pas. Au contraire, elle bouge, même quand vous ne faites rien. Cet article vous donne donc la méthode que nous appliquons pour mesurer la qualité des réponses et les 5 indicateurs à suivre. Il détaille également les garde-fous à poser, un ordre de grandeur du coût, et les pièges qui font échouer la plupart des déploiements.
Sommaire
Un logiciel classique donne la même réponse tant que son code ne change pas. Une IA générative, non. Quatre causes de dérive reviennent sur presque tous les projets que nous suivons.
Vos données changent. L’assistant répondait juste parce qu’il s’appuyait sur votre catalogue, vos procédures, vos tarifs. Six mois plus tard, un tarif a été modifié dans l’ERP mais pas dans la base documentaire. Une procédure a été réécrite, un produit a été retiré. L’IA continue pourtant de répondre avec assurance sur des informations périmées.
L’éditeur du modèle a changé de version. Les fournisseurs de modèles publient de nouvelles versions tous les quelques mois et retirent les anciennes. Un modèle mis à jour formule différemment et suit vos consignes un peu autrement. Un prompt calibré sur l’ancienne version peut donc donner des résultats différents sans qu’une ligne de votre code ait bougé.
Les usages s’élargissent. Vous aviez conçu l’assistant pour répondre aux questions du support de niveau 1. Les équipes commencent ensuite à lui demander des synthèses, des comparaisons, des chiffres. Sur ces nouveaux cas, il n’a jamais été testé.
Les questions dérivent. Les premiers utilisateurs, souvent impliqués dans le projet, posaient des questions bien formulées. Les suivants, en revanche, tapent trois mots, font des fautes, mélangent deux sujets dans une phrase. La qualité perçue baisse alors que rien n’a changé dans le système.
Aucune de ces causes ne déclenche d’alerte technique. En effet, le serveur répond, les temps de réponse sont bons et les journaux ne montrent aucune erreur. C’est précisément pour cela qu’il faut mesurer la qualité des réponses elle-même, et pas seulement la santé de la machine.
Un jeu d’évaluation est une liste de questions de référence. Chacune est accompagnée de la réponse attendue et, si possible, du document source qui la justifie. Autrement dit, c’est l’équivalent, pour une IA, des tests automatisés d’un logiciel. Sans lui, toute discussion sur la qualité repose sur des impressions.
Comptez 50 à 200 questions pour un assistant métier. Toutefois, le guide publié par Anthropic en janvier 2026 sur l’évaluation des agents recommande de démarrer avec 20 à 50 tâches simples tirées de vrais échecs. Inutile, selon lui, d’attendre d’en avoir des centaines. En effet, au début d’un projet, chaque modification a un effet visible et un petit échantillon suffit à le détecter. OpenAI, dans son guide de bonnes pratiques, insiste sur le même point : évaluer tôt et souvent, puis enrichir le jeu à partir des journaux de production.
Un bon jeu de test respecte trois règles :
La correction des réponses peut être automatisée : un second modèle compare la réponse obtenue à la réponse attendue selon une grille. Anthropic comme OpenAI posent néanmoins la même condition. Ce correcteur automatique doit être calibré sur un échantillon corrigé par des humains, jusqu’à ce que son verdict rejoigne le leur. Sinon, vous mesurez l’opinion d’une IA sur une autre IA.
Nous recommandons de suivre cinq indicateurs plutôt que vingt. Voici ceux que nous mettons en place, avec les cibles que nous jugeons raisonnables pour un assistant interne ou un support de niveau 1. Ces cibles sont toutefois des ordres de grandeur à adapter à votre contexte. Par exemple, une IA qui répond sur des posologies n’a pas les mêmes exigences qu’une IA qui résume des comptes rendus de réunion.
| Indicateur | Ce qu’il mesure | Cible raisonnable | Fréquence de contrôle |
|---|---|---|---|
| Exactitude sur le jeu de référence | Part de réponses jugées correctes sur les 50 à 200 questions | 90 % et plus pour un assistant documentaire, seuil à fixer avec les métiers | À chaque changement (prompt, modèle, sources) et au minimum une fois par mois |
| Taux de « je ne sais pas » et d’escalade | Part des demandes où l’IA refuse de répondre ou transfère à un humain | Entre 5 et 15 % : trop bas signale des réponses inventées, trop haut un périmètre mal couvert | Hebdomadaire |
| Satisfaction utilisateur | Pouces levés ou baissés, note après échange | 80 % de retours positifs sur les échanges notés | Hebdomadaire |
| Coût par requête | Consommation de jetons et d’appels d’outils ramenée à une demande | Stable d’un mois sur l’autre, alerte au-delà de 20 à 30 % de hausse | Mensuel, avec alerte automatique |
| Latence | Temps de réponse perçu par l’utilisateur | Sous 5 secondes pour un chat, sous 30 secondes pour un agent qui enchaîne plusieurs outils | Continu, avec alerte automatique |
Le deuxième indicateur est le plus contre-intuitif. Un dirigeant se réjouit d’un assistant qui répond à tout. C’est pourtant précisément le signal inquiétant. En effet, une IA connectée à une base documentaire limitée devrait dire « je ne sais pas » sur une partie des questions. Un taux de refus qui tombe à zéro après une mise à jour de modèle indique en général que l’IA a recommencé à inventer.
Le jeu d’évaluation mesure ce que vous avez prévu. La surveillance en production capte, à l’inverse, ce que vous n’aviez pas prévu. Quatre briques, dans l’ordre où nous les mettons en place.
La journalisation des échanges. On y enregistre chaque question, chaque réponse, les documents consultés et les outils appelés, ainsi que le modèle et la version de prompt utilisés. S’y ajoutent le coût et le temps de réponse. C’est le socle de tout le reste. Sans journal, vous ne pouvez d’ailleurs ni comprendre un incident ni enrichir votre jeu de test. Sur notre assistant IA connecté à l’ERP EBP, c’est par exemple la trace des appels d’outils qui fait la différence. Elle permet de distinguer une donnée fausse dans l’ERP d’une requête mal formulée par l’IA. Sans elle, vous voyez une réponse fausse sans savoir d’où elle vient.
La revue humaine d’un échantillon. Chaque semaine, un référent métier relit un échantillon tiré au hasard, par exemple 20 à 30 échanges, plus tous les échanges signalés par un utilisateur. Il note ce qui est faux, approximatif ou hors sujet. Les échecs deviennent alors de nouvelles questions du jeu de référence. Comptez une demi-journée par semaine les premiers mois, puis moins.
Les alertes. Sur le coût, la latence, le taux d’erreur technique et le taux de refus. Une alerte sur la qualité elle-même est également possible. Il suffit dans ce cas d’appliquer le correcteur automatique, en continu, à un échantillon des échanges réels.
Le versionnage des prompts et des modèles. Un prompt est du code. Il se numérote, se date, se teste avant déploiement et se restaure en cas de problème. De même pour le modèle : figez la version exacte plutôt que « la dernière disponible ». Vous décidez alors vous-même du moment où vous changez, après avoir rejoué le jeu de test sur la nouvelle version.
Mesurer ne suffit pas. Il faut aussi réduire la surface d’erreur. Pour cela, quatre garde-fous font l’essentiel du travail.
Limiter les sources. Une IA qui ne répond qu’à partir de vos documents validés, sans puiser dans sa connaissance générale, se trompe moins. Cela se paramètre : on lui demande de ne répondre que si l’information figure dans les documents fournis, et de le dire sinon.
Citer les documents. Chaque réponse renvoie au document et au passage utilisés. Par conséquent, l’utilisateur peut vérifier en un clic. Votre revue hebdomadaire va aussi beaucoup plus vite.
Filtrer les données sensibles. D’abord en entrée, quand un utilisateur colle un IBAN ou un dossier médical dans la conversation. Ensuite en sortie, pour que l’IA ne restitue pas des données RH à quelqu’un qui n’y a pas droit. Les droits d’accès de l’utilisateur doivent donc s’appliquer aux documents que l’IA consulte pour lui.
Validation humaine pour les actions. Répondre à une question et modifier une commande dans l’ERP ne sont pas du même ordre. Dès qu’un agent IA peut écrire dans un système (créer un devis, envoyer un mail, changer un statut), une personne valide avant exécution, au moins pendant les premiers mois. Nous appliquons notamment cette règle systématiquement sur les serveurs MCP que nous développons.
Parlons budget. Sur nos projets, l’évaluation et la surveillance représentent de l’ordre de 10 à 20 % du budget initial d’un assistant IA : construction du jeu de test avec les métiers, correcteur automatique, journalisation, tableau de bord et alertes. Ensuite, elles entrent dans la maintenance annuelle, que nous chiffrons de manière générale à 15 à 25 % du coût initial par an pour une application. La part IA de cette maintenance couvre la revue humaine, les re-tests à chaque changement de modèle et l’enrichissement du jeu de référence. Pour situer ces montants dans un budget complet, nous avons détaillé le coût d’un agent IA en entreprise dans un article dédié. En réalité, un projet qui n’a pas prévu cette ligne ne surveille pas son IA : il attend le premier incident.
Côté réglementaire, depuis le 2 août 2026, l’article 50 de l’AI Act impose d’informer clairement les personnes qu’elles dialoguent avec une IA, dès la première interaction, sauf si c’est évident. Cette obligation n’a pas été reportée par le Digital Omnibus (règlement 2026/1744, publié le 24 juillet 2026). Ce dernier a en revanche décalé au 2 décembre 2027 les obligations des systèmes à haut risque autonomes (annexe III). Il a également reporté au 2 août 2028 celles de l’IA intégrée à des produits réglementés (annexe I). Pour ces systèmes à haut risque (recrutement, accès au crédit, dispositifs médicaux), l’article 12 impose une journalisation automatique des événements afin de garantir la traçabilité. L’article 26 demande par ailleurs au déployeur de conserver ces journaux au moins six mois et d’assurer une surveillance humaine par du personnel formé.
La plupart des assistants métier ne relèvent pas du haut risque. Mais tout ce que nous décrivons dans cet article (journaux, revue humaine, versionnage) correspond exactement à ce que le texte attend de ceux qui en relèvent. En outre, le mettre en place dès maintenant coûte moins cher que de le rattraper. Nous détaillons ces obligations dans notre article sur l’AI Act et la transparence des applications.
Six questions à vous poser avant, puis régulièrement après la mise en ligne :
Si vous avez répondu non à plus de deux questions, votre IA fonctionne sans filet. Notre équipe accompagne les entreprises sur le développement et la mise en production d’assistants IA, avec le jeu d’évaluation et la surveillance inclus dès le cadrage. Nous proposons par ailleurs un audit technique pour les IA déjà en ligne.
Votre IA est en production et vous ne savez pas si elle répond juste ? Contactez-nous pour un échange gratuit et sans engagement. 👉 playmoweb.com/nous-contacter