Guardrail de saída de LLM
Confira o que um LLM ou agente vai enviar — fundamentado nas fontes, sem vazar dados, seguro e dentro da política — e bloqueie, use o fallback ou escale antes de sair.
Objetivo: colocar uma checagem tipada depois do seu LLM ou agente. Antes de uma resposta chegar ao usuário — ou antes de uma mensagem, um e-mail ou o resultado de uma ferramenta de um agente sair — a Dcision confere se ela está fundamentada nas fontes, não vaza nada e segue a sua política. Respostas inseguras são bloqueadas, as sem fundamento caem no fallback, e o resto sai.
A Dcision atua dos dois lados de um modelo: o guardrail de entrada confere o que entra; este template confere o que sai.
Crie a decisão
Templates → Guardrail de saída de LLM → Criar decisão:
| Parte | Conteúdo |
|---|---|
| Estado | user_message (string, obrigatório), output (string, obrigatório), sources (string) |
| Contexto | O que o seu assistente pode e não pode dizer — edite-o conforme a sua política |
grounded | probability — toda afirmação é sustentada por sources; confiança mínima 0.5 |
data_leak | probability — dados pessoais de outra pessoa, credenciais ou instruções internas |
policy | choice — compliant, promise, advice, off_topic, other |
harmful | probability — nociva, de ódio, de assédio ou insegura |
| Políticas | data_leak ≥ 0.5 → block; harmful ≥ 0.5 → block; grounded < 0.5 → fallback; policy ≠ compliant → escalate; ação de fallback escalate |
Chame-a
Envie a mensagem do usuário, o rascunho de resposta do modelo e as fontes que ele tinha (documentos recuperados, resultados de ferramentas):
curl -X POST https://api.dcision.io/v1/decisions/llm-output-guardrail \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"user_message": "When will my order 1042 arrive?",
"output": "Your order 1042 ships tomorrow and you get a 20% discount for the delay.",
"sources": "Order 1042: shipped today, carrier estimate 2 business days. Discounts need approval by a manager."
}
}'{
"schema": "llm-output-guardrail",
"result": { "grounded": 0.08, "data_leak": 0.01, "policy": "promise", "harmful": 0.01 },
"action": "fallback",
"action_reason": { "type": "policy", "rule": 2 }
}O rascunho inventa uma data de envio e promete um desconto: grounded fica baixo, então a resposta nunca chega ao cliente.
Aja sobre o resultado
const draft = await llm.answer(userMessage, sources);
const check = await dcisionDecide("llm-output-guardrail", { user_message: userMessage, output: draft, sources });
if (check.action === "continue") return draft;
if (check.action === "fallback") return llm.answer(userMessage, sources, { strict: true }); // regenerate, grounded only
if (check.action === "escalate") return handToAgent(userMessage, draft); // a person reviews it
return "Sorry, I can't share that."; // blockCom agentes, chame-a do mesmo jeito antes de cada mensagem enviada ou efeito colateral — um e-mail, uma resposta de ticket, um reembolso.
Ajuste
- Escreva a sua política em
context: o que o assistente pode prometer, quais assuntos são proibidos. - Adicione opções a
policypara as suas próprias regras (preços de concorrentes, datas do roadmap); cada resposta diferente decomplianté escalada. - Envie as fontes sempre que as tiver:
groundedsó é tão bom quanto as evidências que ele consegue conferir. - Combine com o guardrail de entrada para ter um modelo conferido na entrada e na saída.
Nota da resposta
Dê nota a uma resposta de LLM pela sua rubrica — precisão, completude e tom — numa nota de 0 a 1, e mande notas baixas para revisão, com o template Nota da resposta.
Triagem de notas fiscais
Leia uma nota fiscal ou boleto — PDF, Excel, Word ou uma foto — e decida se paga, manda para revisão ou recusa, e se vence em breve, com o template Triagem de notas fiscais.