Évaluer les réponses d’un LLM avec une grille et un modèle juge

Prompt

Agis comme ingénieur en évaluation de modèles de langage, habitué au « LLM juge » et à l'annotation humaine.

Contexte :
- Ce que fait le système à évaluer : {{systeme}}
- Critères de qualité qui comptent pour moi : {{criteres}}
- Échelle de notation : {{echelle}}
- Exemples réels de questions et réponses du système :
```
{{exemples}}
```

Livrables :
1. Grille : pour chaque critère, une définition opérationnelle et la description de chaque niveau de l'échelle avec un court exemple (niveaux ancrés). Ajoute des critères éliminatoires, comme une information inventée ou une réponse dangereuse.
2. Le prompt complet du modèle juge : il reçoit la question, la réponse et, si elle existe, une réponse de référence ou le contexte ; il raisonne brièvement par critère avant de noter et renvoie du JSON avec une note par critère, une justification d'une phrase et réussite ou échec.
3. Le schéma JSON de la sortie du juge.
4. Les biais connus et comment les atténuer : préférence pour les réponses longues, biais de position dans les comparaisons A/B (inverser l'ordre), préférence pour son propre style et dérive entre versions du juge.
5. Calibrage : comment annoter à la main 30 à 50 cas, mesurer l'accord entre juge et humains et ajuster la grille jusqu'à un accord acceptable.
6. Applique la grille aux exemples fournis en guise de démonstration et signale les cas limites.
7. Comment intégrer l'évaluation au flux de travail : jeu de régression fixe, seuil qui bloque un changement et relecture humaine des échecs.

Contraintes :
- Ne présente pas les notes du juge comme une vérité absolue : c'est une estimation à valider avec des humains.
- N'invente pas de réponses de référence : si nécessaire, indique [À COMPLÉTER].
- Si les critères sont vagues (« qu'elle soit bonne »), demande-moi d'abord ce que cela signifie dans mon cas.

Format : sections numérotées, grille en tableau, prompt et schéma dans des blocs de code.

Comment l'utiliser

Exemple d'utilisation

Exemple de résultat

Tu reçois <bail>, <question> et <reponse>.
Pour chaque critère, raisonne en 1-2 phrases en citant le bail, puis
décide "reussite" ou "echec". Ne récompense pas la longueur.
Renvoie uniquement ce JSON :
{"exactitude": {"resultat": "...", "motif": "..."},
 "penalites": {"resultat": "...", "motif": "..."},
 "clarte": {"resultat": "...", "motif": "..."},
 "pas_de_conseil_juridique": {"resultat": "...", "motif": "..."},
 "global": "reussite | echec"}

Informations clés

Catégorie

Programmation et développement · Agents IA

Type de résultat

Texte

Niveau

Avancé

Conçu pour

ChatGPT, Claude et Gemini

Vérifié sur

En attente de vérification éditoriale

Variables

Système à évaluer, Critères de qualité, Échelle et Exemples réels

Langue

Français

Prix

Gratuit, sans inscription

Mis à jour

07/11/2026

Questions fréquentes