Inspect : le cadre d'évaluation de l'AISI britannique

Inspect est un cadre open source d'évaluation des modèles de langage, « créé par l'UK AI Security Institute », l'institut britannique de sécurité de l'IA (AISI). Une évaluation y assemble trois pièces : un jeu de données (les questions et les réponses attendues), un solveur (ce qui produit la réponse : un appel au modèle ou un agent complet) et un correcteur (ce qui note). On la lance par inspect eval, on lit les résultats dans un visualiseur avec inspect view. Licence MIT.

Pourquoi s'y intéresser

Inspect a été conçu pour des évaluations exigeantes : dialogues en plusieurs tours, usage d'outils, agents qui travaillent dans un bac à sable, notation par un modèle. La documentation annonce plus de 200 évaluations prêtes à l'emploi et plus de vingt fournisseurs de modèles, ainsi que l'exécution locale avec Hugging Face, vLLM et SGLang. Pour une PME, l'intérêt est double : un cadre unique pour un simple jeu de questions comme pour un agent, et des journaux d'exécution complets qu'on relit dans le visualiseur.

Les trois pièces

Si votre fichier n'a pas de colonne id, Inspect numérote les échantillons à partir de 1. Si vos colonnes portent d'autres noms, un objet FieldSpec fait la correspondance.

Installer

pip install inspect-ai

Le SDK du fournisseur de modèles s'installe à part (par exemple celui d'Anthropic pour tester Claude).

Un premier test sur vos questions

Prenons un fichier questions.csv avec deux colonnes, input (la question posée par un client) et target (ce que doit contenir la bonne réponse), construit comme expliqué sur la page du jeu de test. Le fichier d'évaluation, sur le modèle des exemples de la documentation :

from inspect_ai import Task, task
from inspect_ai.dataset import csv_dataset
from inspect_ai.scorer import model_graded_qa
from inspect_ai.solver import generate

@task
def assistant_support():
    return Task(
        dataset=csv_dataset("questions.csv"),
        solver=generate(),
        scorer=model_graded_qa(),
    )

Puis :

inspect eval assistant_support.py --model anthropic/claude-sonnet-4-6
inspect view

Le modèle se désigne par fournisseur/modèle ; la documentation cite par exemple anthropic/claude-sonnet-4-6 et google/gemini-3.5-flash-lite. Pour comparer deux modèles, relancez la même tâche avec un autre --model : le jeu et le correcteur restent identiques, seule la variable change.

Lire les résultats

inspect view ouvre le journal de chaque exécution : la question, la réponse produite, la note et l'explication du correcteur. C'est là que se fait le vrai travail. Un score global dit qu'il y a un problème ; la lecture des réponses notées dit lequel. Anthropic fait la même recommandation pour les agents : on ne sait pas si les correcteurs fonctionnent sans lire les traces. Voir évaluer un agent IA pour la méthode appliquée aux agents.

Le correcteur par modèle se vérifie

model_graded_qa() confie la note à un modèle : il en a les qualités et les biais. Avant de suivre ses scores dans le temps, comparez ses notes à celles d'une personne du métier sur un échantillon, comme expliqué sur LLM as a judge. Quand la réponse attendue est un mot ou un chiffre précis, un correcteur par comparaison de texte comme includes() est plus sûr et ne coûte aucun appel.

Inspect ou un autre outil ?

Inspect demande d'écrire un peu de Python et vise large. Pour comparer deux versions de consignes sans écrire de code, promptfoo est plus direct ; pour des tests intégrés à pytest, DeepEval. La vue d'ensemble est sur le comparatif des outils.