Guardrail de salida de LLM
Revisa lo que un LLM o agente va a enviar — fundamentado en sus fuentes, sin fugas de datos, seguro y dentro de la política — y bloquea, usa el fallback o escala antes de que salga.
Objetivo: poner una verificación tipada después de tu LLM o agente. Antes de que una respuesta llegue al usuario — o antes de que salga un mensaje, un correo o el resultado de una herramienta de un agente — Dcision comprueba que esté fundamentada en las fuentes, que no filtre nada y que siga tu política. Las respuestas inseguras se bloquean, las no fundamentadas van al fallback y el resto sale.
Dcision trabaja a ambos lados de un modelo: el guardrail de entrada revisa lo que entra; esta plantilla revisa lo que sale.
Crear la decisión
Plantillas → Guardrail de salida de LLM → Crear decisión:
| Parte | Contenido |
|---|---|
| State | user_message (string, obligatorio), output (string, obligatorio), sources (string) |
| Contexto | Lo que tu asistente puede y no puede decir — edítalo según tu política |
grounded | probability — cada afirmación está respaldada por sources; confianza mínima 0.5 |
data_leak | probability — datos personales de otra persona, credenciales o instrucciones internas |
policy | choice — compliant, promise, advice, off_topic, other |
harmful | probability — dañina, de odio, acosadora o insegura |
| Políticas | data_leak ≥ 0.5 → block; harmful ≥ 0.5 → block; grounded < 0.5 → fallback; policy ≠ compliant → escalate; acción de fallback escalate |
Llámala
Envía el mensaje del usuario, el borrador de respuesta del modelo y las fuentes que tenía (documentos recuperados, resultados de herramientas):
curl -X POST https://api.dcision.io/v1/decisions/llm-output-guardrail \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"user_message": "When will my order 1042 arrive?",
"output": "Your order 1042 ships tomorrow and you get a 20% discount for the delay.",
"sources": "Order 1042: shipped today, carrier estimate 2 business days. Discounts need approval by a manager."
}
}'{
"schema": "llm-output-guardrail",
"result": { "grounded": 0.08, "data_leak": 0.01, "policy": "promise", "harmful": 0.01 },
"action": "fallback",
"action_reason": { "type": "policy", "rule": 2 }
}El borrador inventa una fecha de envío y promete un descuento: grounded es bajo, así que la respuesta nunca llega al cliente.
Actúa en consecuencia
const draft = await llm.answer(userMessage, sources);
const check = await dcisionDecide("llm-output-guardrail", { user_message: userMessage, output: draft, sources });
if (check.action === "continue") return draft;
if (check.action === "fallback") return llm.answer(userMessage, sources, { strict: true }); // regenerate, grounded only
if (check.action === "escalate") return handToAgent(userMessage, draft); // a person reviews it
return "Sorry, I can't share that."; // blockCon agentes, llámala de la misma forma antes de cada mensaje saliente o efecto secundario — un correo, una respuesta a un ticket, un reembolso.
Ajústala
- Escribe tu política en
context: qué puede prometer el asistente y qué temas están prohibidos. - Añade opciones a
policypara tus propias reglas (precios de la competencia, fechas del roadmap); cada respuesta distinta decompliantse escala. - Envía las fuentes siempre que las tengas:
groundedsolo es tan bueno como la evidencia con la que puede comparar. - Combínala con el guardrail de entrada para tener un modelo revisado a la entrada y a la salida.
Calificación de respuestas
Califica una respuesta de LLM según tu rúbrica — precisión, completitud y tono — en una nota de 0 a 1, y envía las notas bajas a revisión, con la plantilla de calificación de respuestas.
Triaje de facturas
Lee una factura — PDF, Excel, Word o una foto — y decide si pagarla, enviarla a revisión o rechazarla, y si vence pronto, con la plantilla Triaje de facturas.