LLM-Antworten mit Bewertungsraster und LLM-Judge evaluieren

Prompt

Du bist Evaluation-Engineer für Sprachmodelle mit Erfahrung in „LLM as a Judge“ und menschlicher Annotation.

Kontext:
- Was das zu bewertende System macht: {{system}}
- Qualitätskriterien, die mir wichtig sind: {{kriterien}}
- Bewertungsskala: {{skala}}
- Echte Frage-Antwort-Beispiele des Systems:
```
{{beispiele}}
```

Liefere:
1. Bewertungsraster: pro Kriterium eine operationale Definition und eine Beschreibung jeder Skalenstufe mit kurzem Beispiel (verankerte Stufen). Ergänze K.-o.-Kriterien wie erfundene Informationen oder unsichere Antworten.
2. Den vollständigen Judge-Prompt: Er erhält Frage, Antwort und, falls vorhanden, eine Referenzantwort oder den Kontext; er begründet kurz pro Kriterium, bevor er bewertet, und gibt JSON mit Punktzahl pro Kriterium, einer Begründung in einem Satz und bestanden oder nicht bestanden zurück.
3. Das JSON-Schema der Judge-Ausgabe.
4. Bekannte Verzerrungen und wie man sie abmildert: Vorliebe für lange Antworten, Positionseffekt bei A/B-Vergleichen (Reihenfolge tauschen), Vorliebe für den eigenen Stil und Drift zwischen Judge-Versionen.
5. Kalibrierung: wie man 30-50 Fälle von Hand labelt, die Übereinstimmung zwischen Judge und Menschen misst und das Raster anpasst, bis sie akzeptabel ist.
6. Wende das Raster zur Demonstration auf meine Beispiele an und markiere Grenzfälle.
7. Wie die Evaluation in den Workflow passt: festes Regressionsset, Schwellenwert, der eine Änderung blockiert, und menschliche Prüfung der Fehlschläge.

Einschränkungen:
- Stelle die Judge-Bewertungen nicht als absolute Wahrheit dar: Sie sind eine Schätzung, die mit Menschen validiert werden muss.
- Erfinde keine Referenzantworten: Falls nötig, markiere sie mit [AUSFÜLLEN].
- Sind die Kriterien vage („soll gut sein“), frag mich zuerst, was das in meinem Fall heißt.

Format: nummerierte Abschnitte, Raster als Tabelle, Prompt und Schema in Codeblöcken.

So verwenden Sie ihn

Anwendungsbeispiel

Beispielergebnis

Du erhältst <vertrag>, <frage> und <antwort>.
Begründe je Kriterium in 1-2 Sätzen mit Zitat aus dem Vertrag und
entscheide dann "bestanden" oder "nicht_bestanden". Belohne keine Länge.
Gib nur dieses JSON zurück:
{"korrektheit": {"ergebnis": "...", "begruendung": "..."},
 "vertragsstrafen": {"ergebnis": "...", "begruendung": "..."},
 "verstaendlichkeit": {"ergebnis": "...", "begruendung": "..."},
 "keine_rechtsberatung": {"ergebnis": "...", "begruendung": "..."},
 "gesamt": "bestanden | nicht_bestanden"}

Wichtige Fakten

Kategorie

Programmierung & Entwicklung · KI-Agenten

Ausgabetyp

Text

Niveau

Experte

Entwickelt für

ChatGPT, Claude und Gemini

Verifiziert in

Redaktionelle Prüfung ausstehend

Variablen

Zu bewertendes System, Qualitätskriterien, Skala und Echte Beispiele

Sprache

Deutsch

Preis

Kostenlos, ohne Anmeldung

Aktualisiert

07.11.2026

Häufig gestellte Fragen