Les pouces levés ou baissés suffisent-ils à évaluer un assistant ?

Non. L'article d'Anthropic sur l'évaluation des agents décrit les retours des utilisateurs comme rares et auto-sélectionnés : peu de gens les donnent, et rarement en expliquant pourquoi. Ils signalent un problème, ils ne le mesurent pas.

Faut-il faire juger toutes les conversations par un modèle ?

Ce n'est pas nécessaire. La documentation de Langfuse propose un taux d'échantillonnage pour n'évaluer qu'une part des conversations, et des filtres pour viser celles qui comptent, afin de maîtriser le coût.

Évaluer une IA en production : retours et échantillons

Une fois votre IA en ligne, l'évaluation continue sous une autre forme : on ne choisit plus les questions, ce sont les utilisateurs qui les posent. Quatre sources se combinent : les retours des utilisateurs (pouce, note, commentaire), un juge automatique appliqué à un échantillon de conversations, une relecture humaine régulière, et des indicateurs de fonctionnement (escalades, délais, coûts). Chaque échec repéré rejoint ensuite le jeu de test, pour ne plus se reproduire.

Ce que voit la production et pas le jeu de test

Votre jeu de test contient les questions que vous avez imaginées ou déjà vues. La production apporte les autres : formulations inattendues, sujets nouveaux, changement de saison ou de catalogue. L'article d'Anthropic sur l'évaluation des agents décrit la surveillance en production comme ce qui révèle le comportement réel des utilisateurs à grande échelle, et qui détecte les dérives et les échecs imprévus après le lancement. Sa limite : elle est réactive, les problèmes ont déjà touché des utilisateurs quand on les voit.

Les quatre sources, forces et limites

D'après le tableau du même article :

Source	Force	Limite
Surveillance en production	comportement réel, à grande échelle	réactive : l'utilisateur a déjà subi l'erreur
Test A/B	compare deux versions sur de vrais usages	lent : des jours ou des semaines pour un résultat significatif
Retours des utilisateurs	signalent ce qui gêne vraiment	rares et auto-sélectionnés, rarement expliqués
Relecture manuelle des conversations	fait comprendre les échecs	ne passe pas à l'échelle

Aucune ne suffit seule. Les retours disent où regarder, la relecture dit pourquoi, le juge automatique dit combien.

Le juge automatique sur un échantillon

Le principe : appliquer aux conversations réelles le même juge automatique que sur le jeu de test, avec les critères qui ne demandent pas de réponse de référence (fidélité aux documents, pertinence, ton, respect du périmètre). Langfuse le décrit ainsi : des règles d'évaluation qui associent des filtres, un taux d'échantillonnage et un ou plusieurs évaluateurs. Les filtres visent par exemple une version précise de l'application ou un type de conversation ; l'échantillonnage n'évalue qu'un pourcentage des conversations. La documentation présente l'échantillonnage comme le moyen de maîtriser le coût, qui dépend du modèle juge et de la taille des textes évalués.

Choisissez l'échantillon avec intention : une part tirée au hasard pour suivre la tendance, plus toutes les conversations marquées d'un pouce baissé, d'une escalade vers un humain ou d'un message sans réponse.

La relecture régulière

Une fois par semaine, par exemple, une personne du métier relit une série de conversations avec la grille de relecture. Les outils d'observation organisent ce travail en files d'annotation : dans Langfuse, on ajoute des conversations à une file, le relecteur note chaque dimension, puis passe à la suivante. La même documentation indique qu'on peut mesurer l'accord entre ces notes humaines et le juge automatique, et recalibrer ce dernier.

Les indicateurs à suivre

Taux d'escalade vers un humain, et escalades qui auraient dû avoir lieu.
Questions sans réponse : ce que l'assistant n'a pas su traiter dit ce qui manque à vos documents.
Retours négatifs par thème.
Coût et délai par conversation.

Pour un chatbot de service client, la liste détaillée est sur évaluer un chatbot de service client. Certaines plateformes rassemblent ces éléments : ALMA, par exemple, liste dans ses fonctionnalités un tableau de bord (messages, sessions, satisfaction, coûts, jetons consommés), l'historique des conversations et un score de confiance des réponses.

Boucler la boucle

L'évaluation en production n'a de valeur que si elle nourrit le jeu de test. Anthropic recommande de transformer les échecs signalés par les utilisateurs en cas de test, pour que la suite d'évaluation reflète l'usage réel. La routine :

repérer un échec (retour, juge, relecture) ;
l'ajouter au jeu de test, avec la bonne réponse écrite par le métier ;
corriger (consignes, documents, réglages) ;
vérifier que le correctif passe sans rien casser, par les tests de non-régression.

Une précaution

Évaluer des conversations réelles, c'est conserver et faire relire des messages qui contiennent parfois des données personnelles. Décidez avant la mise en ligne de ce que vous gardez, combien de temps et qui y accède : les recommandations de l'ANSSI (Agence nationale de la sécurité des systèmes d'information) et de la CNIL (Commission nationale de l'informatique et des libertés) sur les journaux d'un système d'IA sont résumées sur journaliser un système d'IA générative.