HomeCasa Prompts

Avaliar respostas de um LLM com uma grelha e um modelo juiz

Desenhe uma avaliação de respostas de IA com grelha de níveis ancorados, prompt de modelo juiz com saída JSON, mitigação de enviesamentos e calibração face a anotações humanas. Pensado para ChatGPT, Claude e Gemini. Inclui 4 variáveis personalizáveis e pode copiá-lo gratuitamente com um clique.

Avançado · Texto · Pendente de revisão editorial

Pensado para:

Prompt

Atua como engenheiro de avaliação de modelos de linguagem com experiência em «LLM como juiz» e em anotação humana.

Contexto:
- O que faz o sistema que quero avaliar: {{sistema}}
- Critérios de qualidade que me importam: {{criterios}}
- Escala de pontuação: {{escala}}
- Exemplos reais de perguntas e respostas do sistema:
```
{{exemplos}}
```

Entregáveis:
1. Grelha: para cada critério, uma definição operacional e a descrição de cada nível da escala com um exemplo breve (níveis ancorados). Inclui critérios eliminatórios, como informação inventada ou resposta insegura.
2. Prompt completo do modelo juiz: recebe a pergunta, a resposta e, se existir, uma resposta de referência ou o contexto; raciocina brevemente por critério antes de pontuar e devolve JSON com pontuação por critério, justificação numa frase e aprovado ou reprovado.
3. Esquema JSON da saída do juiz.
4. Enviesamentos conhecidos e como os mitigar: preferência por respostas longas, enviesamento de posição em comparações A/B (trocar a ordem), preferência pelo próprio estilo e deriva entre versões do juiz.
5. Calibração: como anotar à mão 30 a 50 casos, medir a concordância entre juiz e pessoas e ajustar a grelha até a concordância ser aceitável.
6. Aplica a grelha aos exemplos que te dei como demonstração e assinala os casos duvidosos.
7. Como integrar a avaliação no fluxo de trabalho: conjunto fixo de regressão, limiar que bloqueia uma alteração e revisão humana dos reprovados.

Restrições:
- Não apresentes as pontuações do juiz como verdade absoluta: são uma estimativa a validar com pessoas.
- Não inventes respostas de referência: se forem precisas, marca-as como [PREENCHER].
- Se os critérios forem vagos («que seja boa»), pergunta-me primeiro o que isso significa no meu caso.

Formato: secções numeradas, grelha em tabela, prompt e esquema em blocos de código.

Como utilizar

Cola 5 a 10 exemplos reais, incluindo alguns maus. Anota tu próprio uma amostra com a grelha e compara com o juiz antes de confiares nele para avaliar alterações de prompt ou de modelo.

Exemplo de utilização

Sistema: assistente que responde a dúvidas de clientes de uma seguradora · Critérios: exatidão, uso do contexto, tom, encaminhamento para humano · Escala: 1-5.

Exemplo de resultado

1. Rubrica

CritérioAprovadoReprovado
ExatidãoTudo o que afirma consta do contratoAlgum dado (valor, prazo) não coincide ou não existe no contrato
PenalizaçõesRefere todas as cláusulas de penalização do contratoOmite pelo menos uma
ClarezaUm inquilino sem formação jurídica percebe à primeiraJargão sem explicação ou cláusulas misturadas
Sem aconselhamento jurídicoInforma e remete para um profissional quando se justificaDiz ao inquilino o que fazer juridicamente («pode deixar de pagar a renda»)

Critério eliminatório: inventar uma cláusula ou um valor → reprovação global.

2. Prompt do juiz (excerto)

Recebes <contrato>, <pergunta> e <resposta>.
Para cada critério, raciocina em 1-2 frases citando o contrato e depois
decide "aprovado" ou "reprovado". Não premeies o tamanho.
Devolve apenas este JSON:
{"exatidao": {"resultado": "...", "motivo": "..."},
 "penalizacoes": {"resultado": "...", "motivo": "..."},
 "clareza": {"resultado": "...", "motivo": "..."},
 "sem_aconselhamento_juridico": {"resultado": "...", "motivo": "..."},
 "global": "aprovado | reprovado"}

5. Calibração

Etiqueta 40 casos à mão, compara com o juiz critério a critério e afina a rubrica onde houver mais desacordo. As notas do juiz são uma estimativa, não a verdade: todas as reprovações são revistas por uma pessoa…

Dados-chave

Categoria
Programação e desenvolvimento · Agentes de IA
Tipo de resultado
Texto
Nível
Avançado
Pensado para
ChatGPT, Claude e Gemini
Verificado em
Pendente de verificação editorial
Variáveis
Sistema a avaliar, Critérios de qualidade, Escala e Exemplos reais
Idioma
Português
Preço
Gratuito, sem registo
Atualizado
07/11/2026

Perguntas frequentes

Um LLM consegue avaliar outro LLM de forma fiável?

Pode ser útil e escalável se a grelha for concreta e o calibrares com anotações humanas. Sem calibração, as pontuações podem refletir enviesamentos como preferir textos longos.

É melhor uma escala de 1 a 5 ou aprovado/reprovado?

Aprovado/reprovado por critério costuma dar mais concordância e é mais fácil de auditar. A escala de 1 a 5 acrescenta nuance, mas exige níveis bem ancorados com exemplos.

Para que serve este prompt?

Desenhe uma avaliação de respostas de IA com grelha de níveis ancorados, prompt de modelo juiz com saída JSON, mitigação de enviesamentos e calibração face a anotações humanas.

Com que ferramentas de IA funciona?

Foi pensado para ChatGPT, Claude e Gemini. Ainda não o verificámos nestas ferramentas, pelo que os resultados podem variar entre elas.

Como personalizo o prompt?

Clique em “Personalizar” e preencha as variáveis (Sistema a avaliar, Critérios de qualidade, Escala e Exemplos reais). O texto atualiza-se instantaneamente e pode depois copiá-lo com um clique. Os valores ficam guardados apenas no seu navegador.

Preciso de experiência para o utilizar?

É de nível avançado: destina-se a pessoas com experiência no tema, capazes de avaliar e ajustar o resultado.

Este prompt é gratuito?

Sim. Todos os prompts do HomeCasa Prompts são gratuitos, sem registo nem subscrição. Pode também utilizá-los em projetos profissionais.

Posso confiar no resultado da IA?

Trate-o como um rascunho de qualidade: verifique sempre os dados, os números e as afirmações importantes antes de publicar ou tomar decisões.

Prompts relacionados