HomeCasa Prompts

Valutare le risposte di un LLM con una rubrica e un modello giudice

Progetta una valutazione delle risposte dell’IA con rubrica a livelli ancorati, prompt del modello giudice con output JSON, riduzione dei bias e calibrazione rispetto a etichette umane. Pensato per ChatGPT, Claude e Gemini. Include 4 variabili personalizzabili e puoi copiarlo gratuitamente con un clic.

Avanzato · Testo · In attesa di revisione editoriale

Pensato per:

Prompt

Agisci come ingegnere di valutazione dei modelli linguistici con esperienza in «LLM come giudice» e annotazione umana.

Contesto:
- Cosa fa il sistema da valutare: {{sistema}}
- Criteri di qualità che mi interessano: {{criteri}}
- Scala di punteggio: {{scala}}
- Esempi reali di domande e risposte del sistema:
```
{{esempi}}
```

Consegne:
1. Rubrica: per ogni criterio, una definizione operativa e la descrizione di ogni livello della scala con un breve esempio (livelli ancorati). Includi criteri eliminatori, come informazioni inventate o risposte non sicure.
2. Prompt completo del modello giudice: riceve domanda, risposta e, se disponibile, una risposta di riferimento o il contesto; ragiona brevemente per criterio prima di assegnare il punteggio e restituisce JSON con punteggio per criterio, giustificazione di una frase e promosso o bocciato.
3. Schema JSON dell'output del giudice.
4. Bias noti e come mitigarli: preferenza per le risposte lunghe, bias di posizione nei confronti A/B (invertire l'ordine), preferenza per il proprio stile e deriva tra versioni del giudice.
5. Calibrazione: come etichettare a mano 30-50 casi, misurare l'accordo tra giudice e persone e affinare la rubrica fino a un accordo accettabile.
6. Applica la rubrica agli esempi che ti ho fornito come dimostrazione e segnala i casi dubbi.
7. Come integrare la valutazione nel flusso di lavoro: set di regressione fisso, soglia che blocca una modifica e revisione umana dei casi bocciati.

Vincoli:
- Non presentare i punteggi del giudice come verità assoluta: sono una stima da validare con persone.
- Non inventare risposte di riferimento: se servono, segnalale con [DA COMPLETARE].
- Se i criteri sono vaghi («che sia buona»), chiedimi prima cosa significa nel mio caso.

Formato: sezioni numerate, rubrica in tabella, prompt e schema in blocchi di codice.

Come usarlo

Incolla 5-10 esempi reali, inclusi alcuni scadenti. Etichetta tu stesso un campione con la rubrica e confrontalo con il giudice prima di affidargli la valutazione di modifiche a prompt o modello.

Esempio d'uso

Sistema: assistente che risponde alle domande dei clienti di un’assicurazione · Criteri: accuratezza, uso del contesto, tono, passaggio a un operatore · Scala: 1-5.

Esempio di risultato

1. Rubrica

CriterioPromossoBocciato
AccuratezzaTutto ciò che afferma è nel contrattoUn dato (importo, scadenza) non coincide o non esiste nel contratto
PenaliCita tutte le clausole di penale del contrattoNe omette almeno una
ChiarezzaUn inquilino senza basi giuridiche capisce al primo colpoGergo non spiegato o clausole mescolate
Nessun parere legaleInforma e rimanda a un professionista quando serveDice all’inquilino cosa fare legalmente («puoi smettere di pagare»)

Criterio eliminatorio: inventare una clausola o un importo → bocciatura complessiva.

2. Prompt del giudice (estratto)

Ricevi <contratto>, <domanda> e <risposta>.
Per ogni criterio ragiona in 1-2 frasi citando il contratto, poi
decidi "promosso" o "bocciato". Non premiare la lunghezza.
Restituisci solo questo JSON:
{"accuratezza": {"esito": "...", "motivo": "..."},
 "penali": {"esito": "...", "motivo": "..."},
 "chiarezza": {"esito": "...", "motivo": "..."},
 "nessun_parere_legale": {"esito": "...", "motivo": "..."},
 "complessivo": "promosso | bocciato"}

5. Calibrazione

Etichetta a mano 40 casi, confrontali con il giudice criterio per criterio e rifinisci la rubrica dove il disaccordo è maggiore. I punteggi del giudice sono una stima, non la verità: ogni bocciatura viene rivista da una persona…

Dati chiave

Categoria
Programmazione e sviluppo · Agenti IA
Tipo di output
Testo
Livello
Avanzato
Pensato per
ChatGPT, Claude e Gemini
Verificato in
In attesa di verifica editoriale
Variabili
Sistema da valutare, Criteri di qualità, Scala e Esempi reali
Lingua
Italiano
Prezzo
Gratuito, senza registrazione
Aggiornato
07/11/2026

Domande frequenti

Un LLM può valutare un altro LLM in modo affidabile?

Può essere utile e scalabile se la rubrica è concreta e lo calibri con etichette umane. Senza calibrazione, i punteggi possono riflettere bias come la preferenza per i testi lunghi.

Meglio una scala 1-5 o promosso/bocciato?

Promosso/bocciato per criterio di solito dà più accordo ed è più facile da verificare. La scala 1-5 aggiunge sfumature, ma richiede livelli ben ancorati con esempi.

A cosa serve questo prompt?

Progetta una valutazione delle risposte dell’IA con rubrica a livelli ancorati, prompt del modello giudice con output JSON, riduzione dei bias e calibrazione rispetto a etichette umane.

Con quali strumenti di IA funziona?

È pensato per ChatGPT, Claude e Gemini. Non lo abbiamo ancora verificato in questi strumenti, quindi i risultati possono variare da uno all'altro.

Come personalizzo il prompt?

Clicca su «Personalizza» e compila le variabili (Sistema da valutare, Criteri di qualità, Scala e Esempi reali). Il testo si aggiorna all'istante e poi puoi copiarlo con un clic. I valori vengono salvati solo nel tuo browser.

Serve esperienza per usarlo?

È di livello avanzato: è pensato per persone con esperienza nell'argomento, in grado di valutare e regolare il risultato.

Questo prompt è gratuito?

Sì. Tutti i prompt di HomeCasa Prompts sono gratuiti, senza registrazione né abbonamento. Puoi usarli anche in progetti professionali.

Posso fidarmi dell'output dell'IA?

Consideralo una bozza di alta qualità: verifica sempre dati, cifre e affermazioni importanti prima di pubblicare o prendere decisioni.

Prompt correlati