Маршрутизация с порогом уверенности
Используйте уверенность как вторую ось — ответ говорит что, уверенность говорит, действовать ли, — с минимальной уверенностью на вопрос и правилами AND для действий. На основе шаблона Voice Banking.
Используйте уверенность как вторую ось: ответ говорит вам, что делать, а уверенность — действовать ли по нему. Одни действия рискованнее других, поэтому им нужно больше уверенности, прежде чем ваша система выполнит их сама.
Преимущества: надёжность и безопасность. Руководство TypeSafe: Confidence-gated routing.
Почему это работает
Jev обучен возвращать откалиброванные вероятности: на множестве ответов те, что даны примерно с 80%, должны быть верны примерно в 80% случаев. Каждый ответ несёт уверенность от 0 до 1, выведенную из этого распределения, — 1, когда вся вероятность приходится на один ответ, 0, когда она распределена равномерно. «Я не уверен» становится числом, по которому ваша система может маршрутизировать, а не уверенным неверным ответом.
Полезная отправная точка — три пути:
| Уверенность | Поведение |
|---|---|
| Высокая | Действовать автоматически. |
| Средняя | Действовать осторожно: попросить пользователя подтвердить, пометить для проверки или собрать больше информации. |
| Низкая | Не действовать: передать человеку, попросить уточнения или перейти на другую систему. |
Где проходят границы, зависит от ставок: пороги растут вместе с риском. Прочитать баланс при уверенности 60% — нормально: в худшем случае покажется не тот экран. Одобрить перевод — нет.
Когда использовать
Любое действие с последствиями: платежи, изменения аккаунта, удаления, сообщения, отправляемые от чьего-то имени, модерация, которая удаляет контент. Сочетайте с маршрутизацией по намерению: намерение выбирает обработчик, а уверенность решает, может ли обработчик действовать сам.
Как это ложится на Dcision
| В руководстве TypeSafe | В Dcision |
|---|---|
if action.confidence < 0.6: route_to_support_agent() | minConfidence: 0.6 у вопроса — ниже этого значения решение возвращает своё fallback-действие (escalate) с action_reason.type = "low_confidence" |
elif choice == "approve_transfer" and confidence > 0.85: approve() | Правило на каждое рискованное действие: intent = approve_transfer AND уверенность intent ниже 0.9 → escalate |
else: ask_user_to_confirm() | Ваш код сопоставляет escalate от этого правила с «попросить пользователя подтвердить» |
| Вариант «на всё остальное» | Зарезервированный вариант other, который тоже возвращает fallback-действие |
Сначала выполняются правила, затем проверка other, затем minConfidence — см. Как вычисляется действие.
Сборка
В приложении
Откройте Шаблоны и выберите Голосовые банковские команды (порог уверенности). Назовите решение Voice Banking, чтобы его slug был voice-banking, затем нажмите Создать решение.
State — Текст: расшифровка команды из вашей системы распознавания речи.
Единственный вопрос, intent, — это choice: check_balance (только чтение), transfer_money, approve_transfer, block_card и зарезервированный other. Его Минимальная уверенность включена, на 60% — нижняя граница для любого действия.
В Политиках — одно правило на каждое рискованное действие, с уверенностью вопроса в качестве второго условия:
- IF
intent· ответ · = ·approve_transfer, + ANDintent· уверенность · < · 0.9 — THENescalate. - IF
intent· ответ · = ·transfer_money, + ANDintent· уверенность · < · 0.8 — THENescalate.
В разделе Движок и выполнение оставьте Действие fallback равным escalate. Для голосового канала, который должен отвечать всегда, рассмотрите Если движок даёт сбой → Ответить действием fallback (см. Настройки решения). Протестируйте, затем Опубликовать v1.
Схема решения
{
"stateSchema": { "kind": "text" },
"questions": [
{
"key": "intent",
"type": "choice",
"instructions": "What does the customer want to do with their account?",
"minConfidence": 0.6,
"options": [
{ "value": "check_balance", "description": "hear the balance or recent transactions (read-only)" },
{ "value": "transfer_money", "description": "start a new transfer to someone" },
{ "value": "approve_transfer", "description": "confirm a transfer that is waiting for approval" },
{ "value": "block_card", "description": "block or freeze a card" }
]
}
],
"policies": [
{
"field": "intent",
"on": "output",
"operator": "eq",
"value": "approve_transfer",
"and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
"action": "escalate"
},
{
"field": "intent",
"on": "output",
"operator": "eq",
"value": "transfer_money",
"and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.8 }],
"action": "escalate"
}
],
"settings": { "fallbackAction": "escalate" }
}Вызовите его
State — это расшифровка в виде строки:
curl -X POST https://api.dcision.io/v1/decisions/voice-banking \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": "Yeah, go ahead and approve that payment to my landlord." }'{
"decision_id": "dec_Wb3Kq9Tz1Lm7Xv5Rn2Hd",
"execution_id": "exec_Pz8Nc4Wq1Ht6Ks3Lm9Vb",
"schema": "voice-banking",
"version": 1,
"result": { "intent": "approve_transfer" },
"confidence": { "intent": 0.8125 },
"action": "escalate",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": {
"latency_ms": 248,
"engine": "jev",
"model": "jev-1.13.0",
"estimated_cost_usd": 0.00001008,
"input_tokens": 240,
"output_tokens": 14
}
}Намерение достаточно ясно, чтобы пройти нижнюю границу 60%, но для одобрения перевода нужно 90%: правило 0 эскалирует. То же решение на других командах:
| Команда | result.intent | confidence.intent | action | action_reason |
|---|---|---|---|---|
| "Yeah, go ahead and approve that payment to my landlord." | approve_transfer | 0.8125 | escalate | { "type": "policy", "rule": 0 } |
| "What's my balance?" | check_balance | 0.95 | continue | { "type": "default" } |
| "Uh, the thing from before, with the money" | check_balance | 0.4 | escalate | { "type": "low_confidence", "question": "intent", "confidence": 0.4, "minConfidence": 0.6 } |
| "Change my mailing address" | other | 0.9 | escalate | { "type": "other_option", "question": "intent" } |
Действуйте по результату
action_reason различает два вида escalate: правило сработало, потому что рискованное действие было недостаточно уверенным, — подтвердите его; или решение не поняло — передайте человеку:
const decision = await response.json();
const { action, action_reason: reason, result } = decision;
if (action === "continue") return perform(result.intent, account);
if (reason.type === "policy") {
// A risky intent below its threshold: verify instead of acting.
return voice.ask(`Just to confirm: you want to ${describe(result.intent)}, is that right?`);
}
return transferToAgent(call, { reason }); // low_confidence, other_option or engine_errorНастройте его
- Начните консервативно, затем измеряйте. Получите недавние запуски через
GET /v1/executionsили на экране Выполнения, сравнитеconfidenceс тем, что произошло на самом деле, и сдвигайте каждый порог отдельно. - Одно правило на уровень риска. У решения может быть до 50 правил, в каждом до 5 условий
and, — достаточно для порога на каждое действие, на каждый уровень клиента или на каждый диапазон сумм, вычисленный в вашем коде. - Перепроверяйте пороги при изменении вариантов. Уверенность choice измеряет, насколько лучший вариант выше равномерного распределения между всеми вариантами, включая
other: добавление или удаление вариантов сдвигает шкалу. - У вопросов probability другая уверенность. Для вероятности «да/нет» уверенность равна
|2p − 1|:minConfidence0.6 помечает каждоеpмежду 0.2 и 0.8 — см. Уверенность и вероятности. - Держите ошибки на том же пути. С
onEngineError: "fallback"сбой движка отвечаетescalateсaction_reason.type = "engine_error"вместо HTTP-ошибки — это обрабатывает последняя строка выше.
См. также: Низкая уверенность и вариант other · Маршрутизация по намерению
Спекулятивный fan-out
Задайте за один вызов все вопросы, которые могут понадобиться процессу, — Jev отвечает на них параллельно, — а правила AND и ваш код решат, какие ответы важны. На основе шаблона Support Ticket Triage.
Композитная оценка
Разбейте суждение на атомарные оценки и объедините их с весами, которые вы контролируете, — композиты вычисляет Dcision, и их можно использовать в политиках. На основе шаблона Resume Screening.