Nota da resposta
Dê nota a uma resposta de LLM pela sua rubrica — precisão, completude e tom — numa nota de 0 a 1, e mande notas baixas para revisão, com o template Nota da resposta.
Objetivo: saber quão boas são as respostas do seu assistente, resposta por resposta, e pegar as ruins antes que elas custem caro.
Crie a decisão
Templates → Nota da resposta (rubrica) → Criar decisão:
| Parte | Conteúdo |
|---|---|
| Estado | question, response (strings, obrigatórios), reference (string — uma resposta conhecida ou texto-fonte) |
| Contexto | A rubrica — edite-a para refletir os seus padrões |
accuracy | score — wrong, mostly wrong, mixed, mostly right, fully right |
completeness | score — misses it, partial, most of it, complete |
tone | score — poor, acceptable, good, excellent |
unsafe_promise | probability — ela promete reembolso, preço ou prazo? |
| Composite | grade = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, de 0 a 1 |
| Políticas | unsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate |
| Destinos | quality_review — função flagForQualityReview em escalate |
Chame-a
curl -X POST https://api.dcision.io/v1/decisions/response-grading \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"question": "Can I get a refund on my annual plan after 2 months?",
"response": "Yes, of course! We'"'"'ll refund you in full anytime.",
"reference": "Annual plans can be refunded within 30 days of purchase."
}
}'O response do estado é "Yes, of course! We'll refund you in full anytime.".
{
"schema": "response-grading",
"result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
"composites": { "grade": 0.17 },
"action": "escalate",
"destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}Aja sobre o resultado
Dê a nota depois que a resposta for gerada — antes de enviar, para bloqueá-la, ou depois, para acompanhar a qualidade:
const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });Ajuste
- Escreva a sua rubrica em
context— ela é versionada com a decisão, então uma nota sempre aponta para a rubrica que a produziu. - Mude os pesos de
gradeconforme o que mais importa para você. - As execuções guardam entradas e saídas por padrão: a página Execuções e a Visão geral mostram as notas ao longo do tempo.
Gate de confiança da resposta
Decida se um rascunho de resposta sai sozinho (≥ 0,85), vai para uma fila de revisão (0,4–0,85) ou para uma pessoa (< 0,4), com o template Gate de confiança da resposta.
Guardrail de saída de LLM
Confira o que um LLM ou agente vai enviar — fundamentado nas fontes, sem vazar dados, seguro e dentro da política — e bloqueie, use o fallback ou escale antes de sair.