Évaluer une IA d'entreprise : la méthode, pas à pas

Évaluer une IA d'entreprise, c'est vérifier sur vos propres questions qu'elle donne la bonne réponse, avec le bon ton, sans inventer, et que cela reste vrai quand vous changez de modèle ou de consignes. La méthode tient en quatre gestes : écrire ce qu'est une bonne réponse, réunir un jeu de test, noter les réponses (par du code, par un modèle juge, par une personne du métier), puis relancer ces tests à chaque changement et surveiller la production.

Ce site s'adresse à ceux qui mettent l'IA en service : responsable informatique, développeur, dirigeant technique de PME (petite et moyenne entreprise). Il est édité par IArche, qui édite ALMA, la plateforme IA pour PME d'IArche. Chaque fait technique renvoie à la documentation lue le 15/11/2026.

Pourquoi un benchmark ne suffit pas

Les classements publics mesurent un modèle sur des questions générales. Votre application, elle, combine un modèle, vos consignes, vos documents et parfois des outils : c'est cet ensemble qu'il faut tester, et changer une seule de ces pièces peut changer les réponses. Ce que mesurent les benchmarks est détaillé sur benchmarks LLM expliqués ; ici, on parle de votre évaluation à vous.

Les quatre gestes

Trois façons de noter une réponse

La documentation d'Anthropic classe les méthodes de notation du plus rapide au plus coûteux :

• par code : comparaison exacte, présence d'un mot-clé, format valide. Rapide, fiable, mais sans nuance ;
• par un modèle (le « LLM juge ») : souple et adapté aux jugements complexes, à condition d'en vérifier la fiabilité avant de s'y fier ;
• par une personne : la meilleure qualité, mais lente et chère.

En pratique, on combine les trois : le code pour ce qui se vérifie mécaniquement, le modèle juge pour le reste, et la relecture humaine pour calibrer le juge. L'article de recherche de référence sur le sujet (Zheng et al., 2023) montre qu'un modèle juge puissant peut atteindre plus de 80 % d'accord avec des humains, mais qu'il a des biais connus : préférence pour une position, pour les réponses longues, pour ses propres réponses.

Les pages du site

Les cas particuliers traités ailleurs

Un moteur de recherche dans vos documents se juge en séparant récupération et génération : voir évaluer un RAG. Un agent qui agit avec des outils se juge sur des tâches et des traces : voir évaluer un agent IA. Les tests d'attaque avant mise en ligne (le « red teaming ») sont une autre discipline, traitée sur le site sécurité de Cercle IA Tech.