Calificación de respuestas

Califica una respuesta de LLM según tu rúbrica — precisión, completitud y tono — en una nota de 0 a 1, y envía las notas bajas a revisión, con la plantilla de calificación de respuestas.

Objetivo: saber qué tan buenas son las respuestas de tu asistente, una por una, y detectar las malas antes de que te cuesten caro.

Crear la decisión

Plantillas → Nota de la respuesta (rúbrica) → Crear decisión:

ParteContenido
Statequestion, response (strings, obligatorios), reference (string — una respuesta conocida o un texto fuente)
ContextoLa rúbrica — edítala para que coincida con tus estándares
accuracyscore — wrong, mostly wrong, mixed, mostly right, fully right
completenessscore — misses it, partial, most of it, complete
tonescore — poor, acceptable, good, excellent
unsafe_promiseprobability — ¿promete un reembolso, un precio o un plazo?
Compuestograde = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, de 0 a 1
Políticasunsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate
Destinosquality_review — función flagForQualityReview en escalate

Llámala

curl -X POST https://api.dcision.io/v1/decisions/response-grading \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "question": "Can I get a refund on my annual plan after 2 months?",
      "response": "Yes, of course! We'"'"'ll refund you in full anytime.",
      "reference": "Annual plans can be refunded within 30 days of purchase."
    }
  }'

El response del estado es "Yes, of course! We'll refund you in full anytime.".

200 OK (resumida)
{
  "schema": "response-grading",
  "result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
  "composites": { "grade": 0.17 },
  "action": "escalate",
  "destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}

Actúa en consecuencia

Califica después de generar la respuesta — antes de enviarla, para bloquearla, o después, para seguir la calidad:

const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });

Ajústala

  • Escribe tu rúbrica en context — se versiona con la decisión, así que una nota siempre apunta a la rúbrica que la produjo.
  • Cambia los pesos de grade para que reflejen lo que más te importa.
  • Las ejecuciones guardan las entradas y las salidas de forma predeterminada: la página Ejecuciones y el Resumen muestran las notas a lo largo del tiempo.

En esta página