Guardrail de saída de LLM

Confira o que um LLM ou agente vai enviar — fundamentado nas fontes, sem vazar dados, seguro e dentro da política — e bloqueie, use o fallback ou escale antes de sair.

Objetivo: colocar uma checagem tipada depois do seu LLM ou agente. Antes de uma resposta chegar ao usuário — ou antes de uma mensagem, um e-mail ou o resultado de uma ferramenta de um agente sair — a Dcision confere se ela está fundamentada nas fontes, não vaza nada e segue a sua política. Respostas inseguras são bloqueadas, as sem fundamento caem no fallback, e o resto sai.

A Dcision atua dos dois lados de um modelo: o guardrail de entrada confere o que entra; este template confere o que sai.

Crie a decisão

Templates → Guardrail de saída de LLM → Criar decisão:

ParteConteúdo
Estadouser_message (string, obrigatório), output (string, obrigatório), sources (string)
ContextoO que o seu assistente pode e não pode dizer — edite-o conforme a sua política
groundedprobability — toda afirmação é sustentada por sources; confiança mínima 0.5
data_leakprobability — dados pessoais de outra pessoa, credenciais ou instruções internas
policychoice — compliant, promise, advice, off_topic, other
harmfulprobability — nociva, de ódio, de assédio ou insegura
Políticasdata_leak ≥ 0.5 → block; harmful ≥ 0.5 → block; grounded < 0.5 → fallback; policy ≠ compliant → escalate; ação de fallback escalate

Chame-a

Envie a mensagem do usuário, o rascunho de resposta do modelo e as fontes que ele tinha (documentos recuperados, resultados de ferramentas):

curl -X POST https://api.dcision.io/v1/decisions/llm-output-guardrail \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "user_message": "When will my order 1042 arrive?",
      "output": "Your order 1042 ships tomorrow and you get a 20% discount for the delay.",
      "sources": "Order 1042: shipped today, carrier estimate 2 business days. Discounts need approval by a manager."
    }
  }'
200 OK (resumida)
{
  "schema": "llm-output-guardrail",
  "result": { "grounded": 0.08, "data_leak": 0.01, "policy": "promise", "harmful": 0.01 },
  "action": "fallback",
  "action_reason": { "type": "policy", "rule": 2 }
}

O rascunho inventa uma data de envio e promete um desconto: grounded fica baixo, então a resposta nunca chega ao cliente.

Aja sobre o resultado

const draft = await llm.answer(userMessage, sources);
const check = await dcisionDecide("llm-output-guardrail", { user_message: userMessage, output: draft, sources });
if (check.action === "continue") return draft;
if (check.action === "fallback") return llm.answer(userMessage, sources, { strict: true }); // regenerate, grounded only
if (check.action === "escalate") return handToAgent(userMessage, draft); // a person reviews it
return "Sorry, I can't share that."; // block

Com agentes, chame-a do mesmo jeito antes de cada mensagem enviada ou efeito colateral — um e-mail, uma resposta de ticket, um reembolso.

Ajuste

  • Escreva a sua política em context: o que o assistente pode prometer, quais assuntos são proibidos.
  • Adicione opções a policy para as suas próprias regras (preços de concorrentes, datas do roadmap); cada resposta diferente de compliant é escalada.
  • Envie as fontes sempre que as tiver: grounded só é tão bom quanto as evidências que ele consegue conferir.
  • Combine com o guardrail de entrada para ter um modelo conferido na entrada e na saída.

Nesta página