HomeCasa Evaluar respuestas de un LLM con una rúbrica y un modelo juez
Diseña una evaluación de respuestas de IA con rúbrica de niveles anclados, prompt de modelo juez con salida JSON, mitigación de sesgos y calibración frente a etiquetas humanas. Pensado para ChatGPT, Claude y Gemini. Incluye 4 variables personalizables y se copia gratis en un clic.
Avanzado · Texto · Pendiente de revisión editorial
Prompt
Actúa como ingeniero de evaluación de modelos de lenguaje con experiencia en «LLM como juez» y en anotación humana.
Contexto:
- Qué hace el sistema que quiero evaluar: {{sistema}}
- Criterios de calidad que me importan: {{criterios}}
- Escala de puntuación: {{escala}}
- Ejemplos de preguntas y respuestas reales del sistema:
```
{{ejemplos}}
```
Entregables:
1. Rúbrica: para cada criterio, una definición operativa y la descripción de cada nivel de la escala con un ejemplo breve (niveles anclados). Incluye criterios eliminatorios, como información inventada o respuesta insegura.
2. Prompt completo del modelo juez: recibe pregunta, respuesta y, si existe, respuesta de referencia o contexto; razona brevemente por criterio antes de puntuar y devuelve JSON con puntuación por criterio, justificación de una frase y aprobado o no.
3. Esquema JSON de la salida del juez.
4. Sesgos conocidos y cómo mitigarlos: preferencia por respuestas largas, por la posición en comparaciones A/B (intercambiar el orden), por su propio estilo, y deriva entre versiones del juez.
5. Calibración: cómo etiquetar a mano 30-50 casos, medir el acuerdo entre juez y personas y ajustar la rúbrica hasta un acuerdo aceptable.
6. Aplica la rúbrica a los ejemplos que te he pasado como demostración y señala qué casos son dudosos.
7. Cómo integrar la evaluación en el flujo de trabajo: conjunto fijo de regresión, umbral para bloquear un cambio y revisión humana de los suspensos.
Restricciones:
- No presentes las puntuaciones del juez como verdad absoluta: son una estimación que hay que validar con personas.
- No inventes respuestas de referencia: si hacen falta, márcalas como [COMPLETAR].
- Si los criterios son vagos («que sea buena»), pregúntame primero qué significa en mi caso.
Formato: secciones numeradas, rúbrica en tabla, prompt y esquema en bloques de código.Cómo usarlo
Pega 5-10 ejemplos reales, incluidos algunos malos. Etiqueta tú mismo una muestra con la rúbrica y compara con el juez antes de confiar en él para evaluar cambios de prompt o de modelo.
Ejemplo de uso
Sistema: asistente que responde dudas de clientes de una aseguradora · Criterios: exactitud, uso del contexto, tono, escalado a humano · Escala: 1-5.
Resultado de ejemplo
1. Rúbrica
| Criterio | Aprobado | Suspenso |
|---|---|---|
| Exactitud | Todo lo que afirma aparece en el contrato | Algún dato (importe, plazo) no coincide o no existe en el contrato |
| Penalizaciones | Menciona todas las cláusulas de penalización del contrato | Omite al menos una |
| Claridad | Un inquilino sin formación jurídica lo entiende a la primera | Usa jerga sin explicar o mezcla cláusulas |
| Sin consejo legal | Informa y remite a un profesional cuando procede | Dice al inquilino qué debe hacer legalmente («puedes dejar de pagar») |
Criterio eliminatorio: inventar una cláusula o un importe → suspenso global.
2. Prompt del juez (extracto)
Recibes <contrato>, <pregunta> y <respuesta>.
Para cada criterio, razona en 1-2 frases citando el contrato y después
decide "aprobado" o "suspenso". No premies la longitud.
Devuelve solo este JSON:
{"exactitud": {"resultado": "...", "motivo": "..."},
"penalizaciones": {"resultado": "...", "motivo": "..."},
"claridad": {"resultado": "...", "motivo": "..."},
"sin_consejo_legal": {"resultado": "...", "motivo": "..."},
"global": "aprobado | suspenso"}5. Calibración
Etiqueta a mano 40 casos, compara con el juez criterio a criterio y revisa la rúbrica donde más discrepen. Las puntuaciones del juez son una estimación, no la verdad: los suspensos se revisan siempre por una persona…
Datos clave
- Categoría
- Programación y desarrollo · Agentes IA
- Tipo de resultado
- Texto
- Nivel
- Avanzado
- Pensado para
- ChatGPT, Claude y Gemini
- Verificado en
- Pendiente de verificación editorial
- Variables
- Sistema a evaluar, Criterios de calidad, Escala y Ejemplos reales
- Idioma
- Español
- Precio
- Gratis, sin registro
- Actualizado
- 07/11/2026
Preguntas frecuentes
¿Puede un LLM evaluar a otro LLM de forma fiable?
Puede ser útil y escalable si la rúbrica es concreta y lo calibras con etiquetas humanas. Sin calibración, sus puntuaciones pueden reflejar sesgos como preferir textos largos.
¿Mejor escala 1-5 o aprobado/suspenso?
Aprobado/suspenso por criterio suele dar más acuerdo y es más fácil de auditar. La escala 1-5 aporta matiz, pero necesita niveles muy bien anclados con ejemplos.
¿Para qué sirve este prompt?
Diseña una evaluación de respuestas de IA con rúbrica de niveles anclados, prompt de modelo juez con salida JSON, mitigación de sesgos y calibración frente a etiquetas humanas.
¿Con qué herramientas de IA funciona?
Está pensado para ChatGPT, Claude y Gemini. Todavía no lo hemos verificado en estas herramientas, por lo que los resultados pueden variar entre ellas.
¿Cómo personalizo el prompt?
Pulsa «Personalizar» y rellena las variables (Sistema a evaluar, Criterios de calidad, Escala y Ejemplos reales). El texto se actualiza al instante y después puedes copiarlo con un clic. Los valores se guardan solo en tu navegador.
¿Necesito experiencia para usarlo?
Es de nivel avanzado: está pensado para personas con experiencia en el tema que sepan evaluar y ajustar el resultado.
¿Este prompt es gratis?
Sí. Todos los prompts de HomeCasa Prompts son gratuitos, sin registro ni suscripción. Puedes usarlos también en proyectos profesionales.
¿Puedo fiarme del resultado de la IA?
Úsalo como un borrador de calidad: revisa siempre datos, cifras y afirmaciones importantes antes de publicarlos o tomar decisiones.