Calificación de respuestas
Califica una respuesta de LLM según tu rúbrica — precisión, completitud y tono — en una nota de 0 a 1, y envía las notas bajas a revisión, con la plantilla de calificación de respuestas.
Objetivo: saber qué tan buenas son las respuestas de tu asistente, una por una, y detectar las malas antes de que te cuesten caro.
Crear la decisión
Plantillas → Nota de la respuesta (rúbrica) → Crear decisión:
| Parte | Contenido |
|---|---|
| State | question, response (strings, obligatorios), reference (string — una respuesta conocida o un texto fuente) |
| Contexto | La rúbrica — edítala para que coincida con tus estándares |
accuracy | score — wrong, mostly wrong, mixed, mostly right, fully right |
completeness | score — misses it, partial, most of it, complete |
tone | score — poor, acceptable, good, excellent |
unsafe_promise | probability — ¿promete un reembolso, un precio o un plazo? |
| Compuesto | grade = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, de 0 a 1 |
| Políticas | unsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate |
| Destinos | quality_review — función flagForQualityReview en escalate |
Llámala
curl -X POST https://api.dcision.io/v1/decisions/response-grading \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"question": "Can I get a refund on my annual plan after 2 months?",
"response": "Yes, of course! We'"'"'ll refund you in full anytime.",
"reference": "Annual plans can be refunded within 30 days of purchase."
}
}'El response del estado es "Yes, of course! We'll refund you in full anytime.".
{
"schema": "response-grading",
"result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
"composites": { "grade": 0.17 },
"action": "escalate",
"destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}Actúa en consecuencia
Califica después de generar la respuesta — antes de enviarla, para bloquearla, o después, para seguir la calidad:
const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });Ajústala
- Escribe tu rúbrica en
context— se versiona con la decisión, así que una nota siempre apunta a la rúbrica que la produjo. - Cambia los pesos de
gradepara que reflejen lo que más te importa. - Las ejecuciones guardan las entradas y las salidas de forma predeterminada: la página Ejecuciones y el Resumen muestran las notas a lo largo del tiempo.
Compuerta de confianza de la respuesta
Decide si un borrador de respuesta sale solo (≥ 0.85), va a una cola de revisión (0.4–0.85) o a una persona (< 0.4), con la plantilla Compuerta de confianza de la respuesta.
Guardrail de salida de LLM
Revisa lo que un LLM o agente va a enviar — fundamentado en sus fuentes, sin fugas de datos, seguro y dentro de la política — y bloquea, usa el fallback o escala antes de que salga.