Guardrail для ответов LLM

Проверяйте, что собирается отправить LLM или агент, — опора на источники, отсутствие утечек данных, безопасность и соответствие политике — и блокируйте, откатывайтесь к fallback или эскалируйте до отправки.

Цель: поставить типизированную проверку после вашей LLM или агента. Прежде чем ответ дойдёт до пользователя — или прежде чем уйдёт сообщение, письмо или результат инструмента агента, — Dcision проверяет, что он опирается на источники, ничего не раскрывает и следует вашей политике. Небезопасные ответы блокируются, необоснованные уходят в fallback, остальные отправляются.

Dcision работает по обе стороны модели: защита входа проверяет то, что поступает на вход; этот шаблон проверяет то, что выходит наружу.

Создайте решение

Шаблоны → Guardrail для ответов LLM → Создать решение:

ЧастьСодержимое
Stateuser_message (строка, обязательная), output (строка, обязательная), sources (строка)
КонтекстЧто вашему ассистенту можно и нельзя говорить — отредактируйте под свою политику
groundedprobability — каждое утверждение подтверждается sources; минимальная уверенность 0.5
data_leakprobability — чужие персональные данные, учётные данные или внутренние инструкции
policychoice — compliant, promise, advice, off_topic, other
harmfulprobability — вредный, разжигающий ненависть, оскорбительный или небезопасный ответ
Политикиdata_leak ≥ 0.5 → block; harmful ≥ 0.5 → block; grounded < 0.5 → fallback; policy ≠ compliant → escalate; действие fallback — escalate

Вызовите его

Отправьте сообщение пользователя, черновик ответа модели и источники, которые у неё были (найденные документы, результаты инструментов):

curl -X POST https://api.dcision.io/v1/decisions/llm-output-guardrail \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "user_message": "When will my order 1042 arrive?",
      "output": "Your order 1042 ships tomorrow and you get a 20% discount for the delay.",
      "sources": "Order 1042: shipped today, carrier estimate 2 business days. Discounts need approval by a manager."
    }
  }'
200 OK (сокращённо)
{
  "schema": "llm-output-guardrail",
  "result": { "grounded": 0.08, "data_leak": 0.01, "policy": "promise", "harmful": 0.01 },
  "action": "fallback",
  "action_reason": { "type": "policy", "rule": 2 }
}

Черновик выдумывает дату отправки и обещает скидку: grounded низкий, поэтому ответ так и не доходит до клиента.

Действуйте по результату

const draft = await llm.answer(userMessage, sources);
const check = await dcisionDecide("llm-output-guardrail", { user_message: userMessage, output: draft, sources });
if (check.action === "continue") return draft;
if (check.action === "fallback") return llm.answer(userMessage, sources, { strict: true }); // regenerate, grounded only
if (check.action === "escalate") return handToAgent(userMessage, draft); // a person reviews it
return "Sorry, I can't share that."; // block

Для агентов вызывайте его так же перед каждым исходящим сообщением или побочным эффектом — письмом, ответом в тикете, возвратом.

Настройте его

  • Опишите свою политику в context: что ассистент может обещать и какие темы запрещены.
  • Добавьте варианты в policy для собственных правил (цены конкурентов, даты из роадмапа); каждый ответ, отличный от compliant, эскалируется.
  • Отправляйте источники всегда, когда они есть: grounded хорош настолько, насколько хороши доказательства, с которыми он может сверяться.
  • Сочетайте с защитой входа, чтобы модель проверялась и на входе, и на выходе.

На этой странице