Faut-il beaucoup de questions pour évaluer un LLM ?

Anthropic recommande de privilégier le volume : davantage de questions notées automatiquement valent mieux que peu de questions notées à la main. Pour les agents, l'éditeur indique que 20 à 50 tâches tirées d'échecs réels sont un bon départ.

Quels critères retenir ?

Des critères spécifiques, mesurables, atteignables et liés à l'usage : exactitude sur la tâche, cohérence, ton, respect de la vie privée, utilisation du contexte fourni, temps de réponse et prix.

Comment évaluer un LLM pour son entreprise

Pour évaluer un LLM (grand modèle de langage) pour votre entreprise, ne partez pas du modèle mais de la tâche : écrivez ce qu'est une bonne réponse, réunissez des questions réelles avec la réponse attendue, notez automatiquement tout ce qui peut l'être, faites relire un échantillon par le métier, puis fixez un seuil avant la mise en service. Ce que vous évaluez n'est pas le modèle seul : c'est l'ensemble modèle, consignes, documents et outils.

Étape 1 : écrire les critères de succès

La documentation d'Anthropic demande des critères spécifiques (« classification exacte du sentiment » plutôt que « bonnes performances »), mesurables (une métrique chiffrée ou une échelle bien définie), atteignables avec les modèles actuels et pertinents pour l'usage. Elle liste les critères courants :

Critère	Question à se poser
Exactitude sur la tâche	la réponse est-elle juste ?
Cohérence	des questions proches reçoivent-elles des réponses proches ?
Pertinence	la réponse traite-t-elle la question posée ?
Ton et style	correspond-il à votre façon de parler aux clients ?
Vie privée	la réponse laisse-t-elle passer une donnée personnelle ?
Utilisation du contexte	s'appuie-t-elle sur les documents fournis ?
Latence	le délai est-il acceptable pour l'utilisateur ?
Prix	le coût par réponse tient-il dans le budget ?

Écrivez chaque critère sous une forme vérifiable. « Le ton doit être professionnel » ne se mesure pas ; « une relectrice du service client note le ton de 1 à 5, et la moyenne doit dépasser 4 » se mesure.

Étape 2 : réunir un jeu de test

Trois principes d'Anthropic pour concevoir les tests :

Coller à la tâche réelle : vos questions doivent ressembler à celles que l'application recevra, cas limites compris (question hors sujet, entrée très longue, demande ambiguë ou malveillante).
Automatiser autant que possible : formuler les tests pour qu'ils se notent par code ou par un modèle.
Préférer le volume : beaucoup de questions notées automatiquement valent mieux que quelques-unes notées à la main.

Pour les agents, Anthropic ajoute qu'il n'en faut pas des centaines pour commencer : 20 à 50 tâches simples tirées d'échecs réels sont un bon départ, et la file du support ou le suivi des anomalies sont les meilleures sources. Le détail est sur constituer un jeu de test.

Étape 3 : noter

Méthode	Forces	Limites	Exemples
Code	rapide, fiable, reproductible	sans nuance	réponse exacte, mot-clé présent, format JSON valide
Modèle juge	souple, passe à l'échelle	à calibrer avant usage	« la réponse cite-t-elle la bonne clause ? »
Personne du métier	référence de qualité	lente, coûteuse	grille de 1 à 5 sur l'exactitude et le ton

Anthropic conseille de choisir la méthode la plus rapide et la plus fiable qui convienne : le code d'abord, le modèle juge ensuite, l'humain en dernier recours. Google décrit la même partition dans son service d'évaluation Vertex AI : des métriques « fondées sur le calcul » (algorithmes déterministes comme ROUGE ou BLEU, quand une réponse de référence existe) et des métriques « fondées sur des rubriques », où un modèle juge chaque réponse selon des critères. Voir les métriques et le LLM juge.

Étape 4 : comparer et décider

Une évaluation sert à trancher : ce modèle ou un autre, cette version des consignes ou la précédente. Google cite exactement ces usages pour son service : migrer d'un modèle à l'autre, choisir le meilleur modèle, améliorer un prompt, évaluer un modèle affiné. Pour décider, fixez avant de lancer les tests le seuil à atteindre pour chaque critère, et comparez toujours deux versions sur le même jeu. La comparaison directe de deux modèles est détaillée sur comparer à l'aveugle ; les classements publics, utiles pour présélectionner, sont analysés sur classements LLM.

Étape 5 : relancer à chaque changement

Anthropic distingue deux familles de tests :

les tests de capacité, qui doivent commencer avec un taux de réussite bas pour laisser une marge de progrès ;
les tests de non-régression, qui doivent réussir presque à 100 % : ils signalent ce qui casse.

Chaque changement de modèle, de consignes ou de documents relance les seconds. Voir tests de non-régression.

Étape 6 : continuer en production

Le jeu de test ne voit pas tout. Une fois l'application en ligne, la surveillance des conversations, les retours des utilisateurs et la relecture d'échantillons révèlent des échecs imprévus, que vous ajoutez ensuite au jeu de test. Voir évaluer en production.

Ce qu'il faut garder

Un tableau simple suffit : une ligne par version testée, une colonne par critère, le seuil visé en tête. Prenons une PME qui met en service un assistant interne : elle écrit cinq critères, réunit les questions déjà posées à son support, note l'exactitude par un modèle juge vérifié sur un échantillon relu, et ne passe à une nouvelle version que si aucune colonne ne recule. C'est moins spectaculaire qu'un classement, mais c'est la seule mesure qui parle de votre usage.