Маршрутизация с порогом уверенности

Используйте уверенность как вторую ось — ответ говорит что, уверенность говорит, действовать ли, — с минимальной уверенностью на вопрос и правилами AND для действий. На основе шаблона Voice Banking.

Используйте уверенность как вторую ось: ответ говорит вам, что делать, а уверенность — действовать ли по нему. Одни действия рискованнее других, поэтому им нужно больше уверенности, прежде чем ваша система выполнит их сама.

Преимущества: надёжность и безопасность. Руководство TypeSafe: Confidence-gated routing.

Почему это работает

Jev обучен возвращать откалиброванные вероятности: на множестве ответов те, что даны примерно с 80%, должны быть верны примерно в 80% случаев. Каждый ответ несёт уверенность от 0 до 1, выведенную из этого распределения, — 1, когда вся вероятность приходится на один ответ, 0, когда она распределена равномерно. «Я не уверен» становится числом, по которому ваша система может маршрутизировать, а не уверенным неверным ответом.

Полезная отправная точка — три пути:

УверенностьПоведение
ВысокаяДействовать автоматически.
СредняяДействовать осторожно: попросить пользователя подтвердить, пометить для проверки или собрать больше информации.
НизкаяНе действовать: передать человеку, попросить уточнения или перейти на другую систему.

Где проходят границы, зависит от ставок: пороги растут вместе с риском. Прочитать баланс при уверенности 60% — нормально: в худшем случае покажется не тот экран. Одобрить перевод — нет.

Когда использовать

Любое действие с последствиями: платежи, изменения аккаунта, удаления, сообщения, отправляемые от чьего-то имени, модерация, которая удаляет контент. Сочетайте с маршрутизацией по намерению: намерение выбирает обработчик, а уверенность решает, может ли обработчик действовать сам.

Как это ложится на Dcision

В руководстве TypeSafeВ Dcision
if action.confidence < 0.6: route_to_support_agent()minConfidence: 0.6 у вопроса — ниже этого значения решение возвращает своё fallback-действие (escalate) с action_reason.type = "low_confidence"
elif choice == "approve_transfer" and confidence > 0.85: approve()Правило на каждое рискованное действие: intent = approve_transfer AND уверенность intent ниже 0.9 → escalate
else: ask_user_to_confirm()Ваш код сопоставляет escalate от этого правила с «попросить пользователя подтвердить»
Вариант «на всё остальное»Зарезервированный вариант other, который тоже возвращает fallback-действие

Сначала выполняются правила, затем проверка other, затем minConfidence — см. Как вычисляется действие.

Сборка

В приложении

Откройте Шаблоны и выберите Голосовые банковские команды (порог уверенности). Назовите решение Voice Banking, чтобы его slug был voice-banking, затем нажмите Создать решение.

State — Текст: расшифровка команды из вашей системы распознавания речи.

Единственный вопрос, intent, — это choice: check_balance (только чтение), transfer_money, approve_transfer, block_card и зарезервированный other. Его Минимальная уверенность включена, на 60% — нижняя граница для любого действия.

В Политиках — одно правило на каждое рискованное действие, с уверенностью вопроса в качестве второго условия:

  1. IF intent · ответ · = · approve_transfer, + AND intent · уверенность · < · 0.9 — THEN escalate.
  2. IF intent · ответ · = · transfer_money, + AND intent · уверенность · < · 0.8 — THEN escalate.

В разделе Движок и выполнение оставьте Действие fallback равным escalate. Для голосового канала, который должен отвечать всегда, рассмотрите Если движок даёт сбой → Ответить действием fallback (см. Настройки решения). Протестируйте, затем Опубликовать v1.

Схема решения

{
  "stateSchema": { "kind": "text" },
  "questions": [
    {
      "key": "intent",
      "type": "choice",
      "instructions": "What does the customer want to do with their account?",
      "minConfidence": 0.6,
      "options": [
        { "value": "check_balance", "description": "hear the balance or recent transactions (read-only)" },
        { "value": "transfer_money", "description": "start a new transfer to someone" },
        { "value": "approve_transfer", "description": "confirm a transfer that is waiting for approval" },
        { "value": "block_card", "description": "block or freeze a card" }
      ]
    }
  ],
  "policies": [
    {
      "field": "intent",
      "on": "output",
      "operator": "eq",
      "value": "approve_transfer",
      "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
      "action": "escalate"
    },
    {
      "field": "intent",
      "on": "output",
      "operator": "eq",
      "value": "transfer_money",
      "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.8 }],
      "action": "escalate"
    }
  ],
  "settings": { "fallbackAction": "escalate" }
}

Вызовите его

State — это расшифровка в виде строки:

curl -X POST https://api.dcision.io/v1/decisions/voice-banking \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": "Yeah, go ahead and approve that payment to my landlord." }'
200 OK
{
  "decision_id": "dec_Wb3Kq9Tz1Lm7Xv5Rn2Hd",
  "execution_id": "exec_Pz8Nc4Wq1Ht6Ks3Lm9Vb",
  "schema": "voice-banking",
  "version": 1,
  "result": { "intent": "approve_transfer" },
  "confidence": { "intent": 0.8125 },
  "action": "escalate",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": {
    "latency_ms": 248,
    "engine": "jev",
    "model": "jev-1.13.0",
    "estimated_cost_usd": 0.00001008,
    "input_tokens": 240,
    "output_tokens": 14
  }
}

Намерение достаточно ясно, чтобы пройти нижнюю границу 60%, но для одобрения перевода нужно 90%: правило 0 эскалирует. То же решение на других командах:

Командаresult.intentconfidence.intentactionaction_reason
"Yeah, go ahead and approve that payment to my landlord."approve_transfer0.8125escalate{ "type": "policy", "rule": 0 }
"What's my balance?"check_balance0.95continue{ "type": "default" }
"Uh, the thing from before, with the money"check_balance0.4escalate{ "type": "low_confidence", "question": "intent", "confidence": 0.4, "minConfidence": 0.6 }
"Change my mailing address"other0.9escalate{ "type": "other_option", "question": "intent" }

Действуйте по результату

action_reason различает два вида escalate: правило сработало, потому что рискованное действие было недостаточно уверенным, — подтвердите его; или решение не поняло — передайте человеку:

const decision = await response.json();
const { action, action_reason: reason, result } = decision;

if (action === "continue") return perform(result.intent, account);

if (reason.type === "policy") {
  // A risky intent below its threshold: verify instead of acting.
  return voice.ask(`Just to confirm: you want to ${describe(result.intent)}, is that right?`);
}
return transferToAgent(call, { reason }); // low_confidence, other_option or engine_error

Настройте его

  • Начните консервативно, затем измеряйте. Получите недавние запуски через GET /v1/executions или на экране Выполнения, сравните confidence с тем, что произошло на самом деле, и сдвигайте каждый порог отдельно.
  • Одно правило на уровень риска. У решения может быть до 50 правил, в каждом до 5 условий and, — достаточно для порога на каждое действие, на каждый уровень клиента или на каждый диапазон сумм, вычисленный в вашем коде.
  • Перепроверяйте пороги при изменении вариантов. Уверенность choice измеряет, насколько лучший вариант выше равномерного распределения между всеми вариантами, включая other: добавление или удаление вариантов сдвигает шкалу.
  • У вопросов probability другая уверенность. Для вероятности «да/нет» уверенность равна |2p − 1|: minConfidence 0.6 помечает каждое p между 0.2 и 0.8 — см. Уверенность и вероятности.
  • Держите ошибки на том же пути. С onEngineError: "fallback" сбой движка отвечает escalate с action_reason.type = "engine_error" вместо HTTP-ошибки — это обрабатывает последняя строка выше.

См. также: Низкая уверенность и вариант other · Маршрутизация по намерению

На этой странице