Порог уверенности для ответа
Решите, уходит ли черновик ответа сам (≥ 0.85), попадает в очередь на проверку (0.4–0.85) или к человеку (< 0.4), с помощью шаблона Reply Confidence Gate.
Цель: автоматически отправлять ответы, которые явно в порядке, проверять пограничные и передавать остальные человеку — с порогами, которые можно видеть и менять.
Создайте решение
Шаблоны → Порог уверенности для ответа → Создать решение:
| Часть | Содержимое |
|---|---|
| State | customer_message, draft_reply (строки, обязательные) |
ready_to_send | probability — можно ли отправить черновик без проверки человеком? |
answers_question | probability — отвечает ли он на то, что спросил клиент? |
promises_something | probability — обещает ли он возврат, скидку, срок или исключение? |
| Политики | ready_to_send < 0.4 → escalate; promises_something ≥ 0.7 и ready_to_send < 0.95 → escalate; уверенность ready_to_send < 0.5 → escalate |
| Назначения | auto_send — sendReply при ≥ 0.85; review_queue — queueForReview от 0.4 до 0.85; hand_to_human — assignToHuman при escalate |
Вызовите его
curl -X POST https://api.dcision.io/v1/decisions/reply-confidence-gate \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"customer_message": "How do I change the email on my account?",
"draft_reply": "Go to Settings → Account, click Edit next to your email, confirm the code we send to the new address and you're done."
}
}'{
"schema": "reply-confidence-gate",
"result": { "ready_to_send": 0.93, "answers_question": 0.96, "promises_something": 0.03 },
"action": "continue",
"destinations": [{ "key": "auto_send", "type": "function", "function": "sendReply", "params": { "reply": "Go to Settings → Account, …" } }]
}Действуйте по результату
const handlers = { sendReply, queueForReview, assignToHuman };
for (const d of decision.destinations ?? []) if (d.type === "function") await handlers[d.function](d.params);Настройте его
- Сдвиньте пороги (0.85 и 0.4) в назначениях и в первом правиле; вкладка Обзор предлагает калибровки на основе вашей истории.
- Замените функции на вебхук или workflow, чтобы очередь на проверку сразу попадала в n8n, Make или Zapier.
- Добавьте свои правила в
context, чтобыpromises_somethingзнал, что может обещать ваша команда.
Контроль вызовов инструментов
Прежде чем агент вызовет инструмент, решите — выполнить, попросить пользователя подтвердить или отказать, требуя большей уверенности для рискованных действий, — с шаблоном «Контроль вызовов инструментов».
Оценка ответов
Оценивайте ответ LLM по своей рубрике — точность, полнота и тон — по шкале от 0 до 1 и отправляйте низкие оценки на проверку с шаблоном Response Grading.