Coût d'une évaluation LLM : le calcul et les leviers

Le coût d'une évaluation se calcule simplement : nombre de questions × nombre d'essais × (coût d'une réponse + coût d'un jugement), à quoi s'ajoute le temps humain de relecture. Les appels au modèle sont la partie la plus facile à chiffrer et à réduire (traitement par lots, cache, petit modèle pour les contrôles simples, échantillonnage en production). Le temps du métier, lui, ne figure sur aucune page tarifs.

Les deux appels par question

Chaque question du jeu de test coûte au moins un appel, souvent deux :

1. la génération : votre application répond (consignes, documents, question en entrée ; réponse en sortie) ;
2. le jugement, si la note est confiée à un modèle juge : il lit la question, la réponse, la référence et la grille, puis rend son verdict.

Les contrôles par code (mot-clé présent, format JSON, réponse exacte) ne coûtent aucun appel. C'est une raison de plus de les préférer, comme le conseille la documentation d'Anthropic, chaque fois qu'ils suffisent.

Deux multiplicateurs à ne pas oublier : le nombre d'essais (on relance souvent chaque question plusieurs fois, parce que les réponses varient) et la réflexion du juge (Anthropic recommande de le faire raisonner avant de noter, ce qui ajoute des jetons de sortie).

Les prix relevés le 15/11/2026

Prix publics d'Anthropic, en dollars américains par million de jetons, relevés le 15/11/2026 :

Ces prix changent ; vérifiez-les sur la page des tarifs avant de budgéter. La méthode générale de calcul d'un appel est détaillée sur calculer le coût d'un appel API.

Un exemple de calcul

Hypothèses à remplacer par vos mesures : 200 questions, 3 essais chacune, soit 600 jugements. Chaque jugement envoie 2 000 jetons au juge (question, réponse, référence, grille) et en reçoit 300 (raisonnement et verdict). Juge : Claude Sonnet 5.5, aux prix relevés le 15/11/2026.

Ajoutez le coût des 600 générations, calculé de la même façon avec le modèle et la taille des requêtes de votre application. À titre de repère, la documentation de Langfuse estime qu'une évaluation automatique typique coûte entre 0,01 $ et 0,10 $, selon le modèle juge et la taille des textes évalués.

Les leviers pour réduire la facture

• Traitement par lots. Les tests n'ont pas besoin d'une réponse immédiate. La documentation d'Anthropic cite les évaluations à grande échelle parmi les usages du traitement par lots : 50 % de moins sur l'entrée et la sortie, et la plupart des lots finissent en moins d'une heure.
• Cache des réponses. promptfoo garde par défaut les réponses sur disque pendant 14 jours : relancer une évaluation inchangée ne repaie pas les appels. Désactivez-le (--no-cache) quand vous voulez justement mesurer la variabilité.
• Le bon juge pour chaque critère. Un critère simple (la réponse est-elle en français ? mentionne-t-elle un prix ?) peut être confié à un petit modèle, voire à du code ; gardez le grand modèle pour les jugements difficiles, après avoir vérifié l'accord des deux sur un échantillon.
• Juger moins de texte. Envoyez au juge la réponse et le passage utile, pas tout l'historique de la conversation.
• Échantillonner en production. Langfuse propose un taux d'échantillonnage et des filtres pour n'évaluer qu'une partie des conversations, et cite l'échantillonnage comme moyen de maîtriser le coût. Voir évaluer en production.

Le temps humain

C'est le poste que les calculs oublient :

• écrire et valider les réponses de référence avec le métier ;
• relire un échantillon pour calibrer le juge ;
• lire les échecs après chaque série de tests ;
• mettre à jour le jeu quand les documents changent.

Prenons une PME qui met en service un assistant : la facture des appels d'évaluation peut rester modeste, alors que la relecture mobilise une personne du métier à chaque nouvelle version. Planifiez ce temps dès le départ ; c'est lui, plus que les jetons, qui décide si l'évaluation sera tenue dans la durée.