Quels critères pour évaluer un chatbot de service client ?

Deux séries : la qualité des réponses (compréhension de la demande, pertinence, exactitude, sources, respect du périmètre, escalade au bon moment) et l'effet sur le service (sentiment du client, part des demandes traitées sans humain, satisfaction, durée de traitement).

Quel taux de réponses exactes viser ?

Le guide d'Anthropic propose de viser 100 % d'exactitude sur les informations de base de l'entreprise et des produits fournies au chatbot. Ce sont des repères d'éditeur, à ajuster à votre activité.

Évaluer un chatbot de service client : les critères

Un chatbot de service client s'évalue sur deux séries de critères : la qualité de ses réponses (comprend-il la demande, répond-il juste, reste-t-il dans son sujet, passe-t-il la main quand il le faut ?) et son effet sur le service (le client repart-il satisfait, la demande est-elle réglée sans humain, en combien de temps ?). Le guide d'Anthropic consacré aux assistants de support donne pour chacun une définition et un repère chiffré ; on les reprend ici, en les présentant comme ce qu'ils sont : des objectifs proposés par un éditeur, à adapter.

Découper la conversation en tâches

Le guide d'Anthropic part d'un constat : une conversation de support réunit plusieurs tâches (répondre à une question, chercher une information, agir sur une demande). Avant de construire, il recommande de lister chaque tâche attendue : c'est ce qui permet d'écrire des consignes et des tests pour chacune. Exemple de découpage pour une boutique en ligne :

Tâche	Exemple de question	Ce qu'on vérifie
Information	« Quels sont les délais de livraison ? »	la réponse reprend les conditions de vente
Suivi	« Où en est ma commande ? »	le chatbot demande le numéro, ne l'invente pas
Hors périmètre	« Que pensez-vous de ce concurrent ? »	il reste dans son sujet
Réclamation	« Mon colis est arrivé abîmé »	il passe la main à un humain

La qualité des réponses

D'après le guide d'Anthropic, avec ses repères :

Critère	Ce qu'il mesure	Comment le mesurer	Repère d'Anthropic
Compréhension de la demande	le chatbot interprète-t-il bien l'intention du client et ce qui réglerait son problème ?	relecture d'un échantillon de conversations	95 % ou plus
Pertinence	la réponse traite-t-elle la question précise du client ?	notation par un modèle juge, pour le volume	90 % ou plus
Exactitude	les informations sur l'entreprise et les produits sont-elles justes, au regard de ce qui a été fourni au chatbot ?	comparaison à la référence	100 % sur ces informations de base
Sources	propose-t-il un lien ou une source utile quand c'est pertinent ?	fréquence et pertinence des liens	80 % des échanges où une source aiderait
Respect du périmètre	reste-t-il sur son sujet ?	part des réponses liées au sujet ou à la demande	95 %
Escalade	reconnaît-il quand un humain doit intervenir ?	conversations bien escaladées, et celles qui auraient dû l'être	95 % ou plus

Le guide ajoute un critère pour les contenus produits par le chatbot (dans son exemple, un devis) : savoir quand en produire un et le produire juste, avec un objectif de 100 %, parce que l'information est décisive pour le client.

L'effet sur le service

Toujours d'après le même guide :

Critère	Définition	Repère d'Anthropic
Maintien du sentiment	le ton du client est-il maintenu ou amélioré entre le début et la fin, mesuré par un outil d'analyse de sentiment ?	90 % des échanges
Taux de résolution sans humain	part des demandes traitées par le chatbot sans intervention humaine	« typiquement » 70 à 80 %, selon la complexité des demandes
Satisfaction (CSAT, score de satisfaction client)	mesurée par une enquête après l'échange	4 sur 5 ou plus
Durée moyenne de traitement	temps moyen pour régler une demande	plus bas que celui des conseillers humains, très variable selon les demandes

Ces indicateurs se lisent avec ceux que votre service suit déjà ; les mesures habituelles d'un service après-vente sont présentées sur les indicateurs du service client.

Avant la mise en ligne

Le jeu de test. Réunissez de vraies demandes, tirées de la boîte mail et des tickets, avec la réponse attendue ; ajoutez des demandes hors sujet, des réclamations et des questions sans réponse dans vos documents. Méthode : constituer un jeu de test.
Les contrôles par code. Mention obligatoire présente, aucun prix absent des documents, passage à un humain sur les mots qui l'exigent.
Le juge automatique. Pour la pertinence, le ton et le périmètre, avec une grille écrite et vérifiée : voir LLM as a judge. La documentation d'Anthropic donne justement l'exemple d'un ton de service client noté de 1 à 5 par un modèle.
La relecture du métier. Un conseiller relit un échantillon avec la grille de relecture, en particulier les escalades.

Après la mise en ligne

Les critères d'effet (satisfaction, résolution sans humain, durée) ne se mesurent qu'avec de vrais clients. Suivez-les par période, relisez chaque semaine les conversations mal notées ou escaladées, et ajoutez au jeu de test chaque échec, comme le recommande Anthropic pour les échecs signalés par les utilisateurs. Méthode : évaluer en production.

Le critère qui compte le plus

Un chatbot qui ne sait pas dire « je transmets à un conseiller » finit par coûter plus qu'il ne rapporte en confiance. Testez l'escalade comme une fonction à part entière : quels mots, quels sujets, quels clients la déclenchent, et ce qui se passe ensuite. L'organisation côté humain est décrite sur la procédure d'escalade ; l'obligation d'informer le client qu'il échange avec une IA, sur la transparence de l'article 50 de l'AI Act, le règlement européen sur l'IA.