Combien de réponses faire relire par une personne ?

Assez pour vérifier le juge automatique, pas tout le jeu : la documentation d'Anthropic juge la notation humaine lente et coûteuse, et conseille de la réserver à ce que le code et le modèle juge ne savent pas faire. Un échantillon relu sert surtout à calibrer le juge.

Comment savoir si deux relecteurs sont d'accord ?

On mesure leur accord sur les mêmes réponses, par exemple avec le kappa de Cohen, qui corrige l'accord dû au hasard. Il vaut 1 pour un accord complet et 0 pour un accord pas meilleur que le hasard.

Grille de relecture humaine des réponses d'une IA

La relecture humaine reste la référence de qualité pour juger les réponses d'une IA : une personne du métier voit ce qu'aucune métrique ne voit. Elle est aussi lente et chère, d'où une règle simple : on ne fait pas tout relire, on fait relire un échantillon, avec une grille écrite, pour trancher les cas difficiles et vérifier que le juge automatique note comme le métier. Voici une grille prête à adapter et la manière de mesurer si elle fonctionne.

Pourquoi une grille écrite

Sans grille, deux relecteurs jugent deux choses différentes : l'un le fond, l'autre le ton. La documentation d'Anthropic, à propos de la notation par un modèle, donne des règles qui valent aussi pour les humains : une grille détaillée et claire, une sortie chiffrée (« correct » ou « incorrect », ou une note de 1 à 5) plutôt qu'un avis rédigé, et plusieurs grilles si un critère en demande. Elle illustre l'échelle de 1 à 5 par un exemple sur la cohérence : de 1 (incohérent) à 5 (parfaitement logique).

Une grille de départ

Exemple à adapter pour un assistant qui répond à des clients. Chaque critère se note séparément ; ne mélangez pas fond et forme dans une même note.

Critère	1	3	5
Exactitude	une erreur qui tromperait le client	juste, mais un point important manque	juste et complet au regard de la référence
Appui sur les sources	affirme ce qui n'est dans aucun document	s'appuie sur les documents avec un ajout non vérifiable	tout ce qui est dit se retrouve dans les documents
Pertinence	répond à côté	répond en partie	répond exactement à la question posée
Ton	inadapté (sec, familier, condescendant)	correct mais impersonnel	conforme à votre façon de parler aux clients
Conduite à tenir	aurait dû passer la main à un humain et ne l'a pas fait	passe la main sans expliquer pourquoi	passe la main quand il le faut, au bon moment

Ajoutez une case libre « pourquoi » pour toute note de 1 ou 2 : c'est elle qui vous dira quoi corriger.

Les consignes aux relecteurs

Donnez à chaque relecteur la question, la réponse et la réponse de référence ou le document source, jamais le nom du modèle ni la version des consignes.
Écrivez un exemple noté pour chaque niveau de chaque critère, tiré de vraies réponses.
Faites noter sans voir la note du juge automatique ni celle d'un collègue.
Mélangez l'ordre des réponses, pour qu'une série de bonnes réponses n'influence pas la suivante.

Mesurer l'accord

Une grille fonctionne si deux relecteurs, sur les mêmes réponses, donnent des notes proches. Le pourcentage d'accord brut est trompeur quand la plupart des réponses sont bonnes : deux personnes qui répondent « bon » à tout sont souvent d'accord. Le kappa de Cohen corrige cet effet. La documentation de scikit-learn le définit comme κ = (p_o − p_e) / (1 − p_e), où p_o est l'accord observé et p_e l'accord attendu si les deux annotateurs notaient au hasard. Il vaut 1 pour un accord complet, 0 pour un accord pas meilleur que le hasard. Pour des notes ordonnées (1 à 5), une pondération linéaire ou quadratique compte un écart de 4 et 5 comme moins grave qu'un écart de 1 et 5 :

from sklearn.metrics import cohen_kappa_score

relectrice = [5, 4, 2, 5, 3, 1, 4]
juge_auto  = [5, 4, 3, 5, 3, 2, 4]

print(cohen_kappa_score(relectrice, juge_auto, weights="quadratic"))

Les notes ci-dessus sont un exemple à remplacer par les vôtres. Un accord faible signale d'abord une grille ambiguë : lisez les réponses où les notes divergent et précisez le critère.

Calibrer le juge automatique

C'est l'usage le plus rentable de la relecture humaine. L'article de Zheng et al. (2023) mesure qu'un juge automatique puissant atteint plus de 80 % d'accord avec des humains, le même niveau qu'entre humains : c'est possible, mais cela se vérifie. Anthropic demande que les juges automatiques soient « étroitement calibrés » avec des experts humains. En pratique :

Faites noter le même échantillon par le métier et par le juge, avec la même grille.
Comparez l'accord juge-humain à l'accord humain-humain.
Corrigez la consigne du juge là où il diverge, puis recommencez.
Ensuite seulement, laissez le juge noter le reste. Détail sur LLM as a judge.

L'outillage

Un tableur suffit pour commencer : une ligne par réponse, une colonne par critère. Quand le volume grandit, des outils d'observation proposent des files d'annotation. Dans Langfuse, par exemple, on crée une file, on choisit les dimensions de notation (catégorielles ou booléennes), on y ajoute des conversations de production, puis chaque relecteur note et passe à la suivante ; sa documentation indique qu'on peut ensuite mesurer l'accord entre les relecteurs et le juge automatique pour calibrer ce dernier. Voir aussi évaluer en production.

Pour un agent qui agit (réservation, commande), la relecture humaine sert aussi à valider une action avant qu'elle parte : c'est un autre sujet, traité sur l'humain dans la boucle.