Nota da resposta

Dê nota a uma resposta de LLM pela sua rubrica — precisão, completude e tom — numa nota de 0 a 1, e mande notas baixas para revisão, com o template Nota da resposta.

Objetivo: saber quão boas são as respostas do seu assistente, resposta por resposta, e pegar as ruins antes que elas custem caro.

Crie a decisão

Templates → Nota da resposta (rubrica) → Criar decisão:

ParteConteúdo
Estadoquestion, response (strings, obrigatórios), reference (string — uma resposta conhecida ou texto-fonte)
ContextoA rubrica — edite-a para refletir os seus padrões
accuracyscore — wrong, mostly wrong, mixed, mostly right, fully right
completenessscore — misses it, partial, most of it, complete
tonescore — poor, acceptable, good, excellent
unsafe_promiseprobability — ela promete reembolso, preço ou prazo?
Compositegrade = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, de 0 a 1
Políticasunsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate
Destinosquality_review — função flagForQualityReview em escalate

Chame-a

curl -X POST https://api.dcision.io/v1/decisions/response-grading \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "question": "Can I get a refund on my annual plan after 2 months?",
      "response": "Yes, of course! We'"'"'ll refund you in full anytime.",
      "reference": "Annual plans can be refunded within 30 days of purchase."
    }
  }'

O response do estado é "Yes, of course! We'll refund you in full anytime.".

200 OK (resumida)
{
  "schema": "response-grading",
  "result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
  "composites": { "grade": 0.17 },
  "action": "escalate",
  "destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}

Aja sobre o resultado

Dê a nota depois que a resposta for gerada — antes de enviar, para bloqueá-la, ou depois, para acompanhar a qualidade:

const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });

Ajuste

  • Escreva a sua rubrica em context — ela é versionada com a decisão, então uma nota sempre aponta para a rubrica que a produziu.
  • Mude os pesos de grade conforme o que mais importa para você.
  • As execuções guardam entradas e saídas por padrão: a página Execuções e a Visão geral mostram as notas ao longo do tempo.

Nesta página