Guardrail для ответов LLM
Проверяйте, что собирается отправить LLM или агент, — опора на источники, отсутствие утечек данных, безопасность и соответствие политике — и блокируйте, откатывайтесь к fallback или эскалируйте до отправки.
Цель: поставить типизированную проверку после вашей LLM или агента. Прежде чем ответ дойдёт до пользователя — или прежде чем уйдёт сообщение, письмо или результат инструмента агента, — Dcision проверяет, что он опирается на источники, ничего не раскрывает и следует вашей политике. Небезопасные ответы блокируются, необоснованные уходят в fallback, остальные отправляются.
Dcision работает по обе стороны модели: защита входа проверяет то, что поступает на вход; этот шаблон проверяет то, что выходит наружу.
Создайте решение
Шаблоны → Guardrail для ответов LLM → Создать решение:
| Часть | Содержимое |
|---|---|
| State | user_message (строка, обязательная), output (строка, обязательная), sources (строка) |
| Контекст | Что вашему ассистенту можно и нельзя говорить — отредактируйте под свою политику |
grounded | probability — каждое утверждение подтверждается sources; минимальная уверенность 0.5 |
data_leak | probability — чужие персональные данные, учётные данные или внутренние инструкции |
policy | choice — compliant, promise, advice, off_topic, other |
harmful | probability — вредный, разжигающий ненависть, оскорбительный или небезопасный ответ |
| Политики | data_leak ≥ 0.5 → block; harmful ≥ 0.5 → block; grounded < 0.5 → fallback; policy ≠ compliant → escalate; действие fallback — escalate |
Вызовите его
Отправьте сообщение пользователя, черновик ответа модели и источники, которые у неё были (найденные документы, результаты инструментов):
curl -X POST https://api.dcision.io/v1/decisions/llm-output-guardrail \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"user_message": "When will my order 1042 arrive?",
"output": "Your order 1042 ships tomorrow and you get a 20% discount for the delay.",
"sources": "Order 1042: shipped today, carrier estimate 2 business days. Discounts need approval by a manager."
}
}'{
"schema": "llm-output-guardrail",
"result": { "grounded": 0.08, "data_leak": 0.01, "policy": "promise", "harmful": 0.01 },
"action": "fallback",
"action_reason": { "type": "policy", "rule": 2 }
}Черновик выдумывает дату отправки и обещает скидку: grounded низкий, поэтому ответ так и не доходит до клиента.
Действуйте по результату
const draft = await llm.answer(userMessage, sources);
const check = await dcisionDecide("llm-output-guardrail", { user_message: userMessage, output: draft, sources });
if (check.action === "continue") return draft;
if (check.action === "fallback") return llm.answer(userMessage, sources, { strict: true }); // regenerate, grounded only
if (check.action === "escalate") return handToAgent(userMessage, draft); // a person reviews it
return "Sorry, I can't share that."; // blockДля агентов вызывайте его так же перед каждым исходящим сообщением или побочным эффектом — письмом, ответом в тикете, возвратом.
Настройте его
- Опишите свою политику в
context: что ассистент может обещать и какие темы запрещены. - Добавьте варианты в
policyдля собственных правил (цены конкурентов, даты из роадмапа); каждый ответ, отличный отcompliant, эскалируется. - Отправляйте источники всегда, когда они есть:
groundedхорош настолько, насколько хороши доказательства, с которыми он может сверяться. - Сочетайте с защитой входа, чтобы модель проверялась и на входе, и на выходе.
Оценка ответов
Оценивайте ответ LLM по своей рубрике — точность, полнота и тон — по шкале от 0 до 1 и отправляйте низкие оценки на проверку с шаблоном Response Grading.
Разбор счетов
Читайте счёт или квитанцию — PDF, Excel, Word или фото — и решайте, оплатить его, отправить на проверку или отклонить и скоро ли срок оплаты, с шаблоном Invoice Triage.