Outils d'évaluation LLM open source : le comparatif

Cette page décrit six outils open source d'évaluation des applications d'IA : promptfoo (tests par fichier de configuration et ligne de commande), DeepEval (tests en Python à la manière de pytest), Ragas (métriques, surtout pour la recherche dans des documents), Inspect (cadre d'évaluation de l'institut britannique de sécurité de l'IA), Langfuse (observation et évaluation en production), ainsi qu'OpenAI Evals pour mémoire. Ils ne font pas la même chose : le bon choix dépend de ce que vous évaluez et du langage de votre équipe.

Ce comparatif est publié par Cercle IA Tech, site édité par IArche, qui édite aussi ALMA, une plateforme d'assistants IA. Il décrit chaque outil d'après son dépôt et sa documentation, lus le 15/11/2026 ; ALMA n'y figure pas, ce n'est pas un outil d'évaluation open source.

Le tableau

YAML est un format de fichier de configuration lisible ; un SDK est une bibliothèque qui donne accès à un service depuis votre code.

promptfoo

Le dépôt le décrit ainsi : « Testez vos prompts, agents et RAG. Red teaming, tests d'intrusion et recherche de vulnérabilités pour l'IA. » On l'installe par npm, brew ou pip, on écrit un fichier promptfooconfig.yaml (prompts, modèles, cas de test, assertions), puis on lance promptfoo eval et promptfoo view. Ses assertions vont du contrôle par code (contains, regex, is-json, latency, cost) au juge automatique (llm-rubric, factuality, context-faithfulness). Son bandeau indique qu'il fait désormais partie d'OpenAI, et qu'il reste open source sous licence MIT. Guide : promptfoo.

DeepEval

« Ressemble à Pytest, mais spécialisé dans les tests unitaires d'applications LLM », d'après le dépôt de Confident AI. Python 3.10 ou plus. Les métriques couvrent l'usage général (G-Eval, DAG), le RAG (fidélité, pertinence, précision et rappel du contexte), les agents (réussite de la tâche, justesse des outils) et des contrôles comme la toxicité ou les biais. Les tests se lancent par deepeval test run. Guide : DeepEval.

Ragas

Bibliothèque de métriques. Sa page de référence liste des métriques pour le RAG (précision et rappel du contexte, fidélité, pertinence de la réponse…), pour les agents, pour la comparaison de textes (exactitude factuelle, similarité, BLEU, ROUGE), pour le SQL et des critères généraux par grille. Elle sait aussi générer des jeux de test à partir de documents. Son usage pour la recherche documentaire est détaillé sur évaluer un RAG.

Inspect

« Un cadre d'évaluation des grands modèles de langage créé par l'UK AI Security Institute », l'institut britannique de sécurité de l'IA (AISI). Une évaluation y assemble trois pièces : un jeu de données, un solveur qui produit la réponse (un simple appel au modèle ou un agent avec outils) et un correcteur. La documentation annonce plus de vingt fournisseurs de modèles et plus de 200 évaluations prêtes à l'emploi. Guide : Inspect.

Langfuse

Plateforme d'observation et d'évaluation, auto-hébergeable (Docker Compose, Kubernetes) d'après son dépôt. Côté évaluation : juge automatique, scores envoyés par programme, retours des utilisateurs, files d'annotation humaine, jeux de données et expériences. Sa documentation distingue l'évaluation hors ligne (sur un jeu fixe, avant une livraison) et en ligne (sur les traces de production). Voir évaluer en production.

Les autres cadres

OpenAI Evals figure aussi dans le tableau pour être complet. Le dépôt se présente comme « un cadre pour évaluer des LLM ou des systèmes construits avec des LLM », et un registre open source de tests. Il est sous licence MIT, et son README indique que les évaluations peuvent aussi se configurer depuis le tableau de bord de l'éditeur.

Comment choisir

Ces outils se combinent : un outil de tests avant livraison, un outil d'observation après. Quel que soit le choix, il ne vaut que par le jeu de test qu'on lui donne et par le juge qu'on a vérifié.