Низкая уверенность и вариант other

Проектируйте решения, которые признают неопределённость, — зарезервированный вариант other, минимальная уверенность, политики уверенности, действие fallback, почти ничьи и fallback при ошибке движка.

Решение, которое всегда отвечает уверенно, иногда лжёт. Вероятности Jev откалиброваны, поэтому на его уверенность можно опираться, а Dcision даёт вам четыре инструмента, чтобы сделать неопределённость явным, маршрутизируемым исходом, а не тихим неверным ответом.

1. Вариант other

У каждого вопроса choice есть зарезервированный вариант other, который автоматически добавляется последним («ни один из вариантов выше»). Он позволяет движку сказать, что ничего не подходит, вместо того чтобы выбрать наименее неверный вариант.

Когда choice отвечает other и ни одна политика не сработала, ответ содержит fallback-действие решения:

{
  "result": { "route": "other" },
  "action": "escalate",
  "action_reason": { "type": "other_option", "question": "route" }
}

Опишите other, если «ничего из этого» имеет для вас конкретный смысл:

{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }

2. Минимальная уверенность

Задайте вопросу minConfidence, чтобы считать ответы ниже этого значения неуверенными:

{
  "key": "route",
  "type": "choice",
  "instructions": "Which team should receive this lead?",
  "minConfidence": 0.8,
  "options": [ … ]
}
{
  "result": { "route": "sdr" },
  "confidence": { "route": 0.52 },
  "action": "escalate",
  "action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}

Начните примерно с 0.8 (значение по умолчанию в редакторе) для вопросов choice и score и корректируйте на реальном трафике. Для вопросов probability уверенность равна |2p − 1| — расстоянию от подбрасывания монеты: minConfidence 0.8 помечает каждую вероятность между 0.1 и 0.9, а 0.6 — каждую вероятность между 0.2 и 0.8, — см. таблицу.

3. Политики уверенности

Когда разным вопросам — или разным ответам — нужны разные действия, пишите явные правила с "on": "confidence". Они выполняются до проверок other и минимальной уверенности:

{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }

Тогда ответ содержит { "type": "policy", "rule": 1 } (индекс правила, начиная с 0).

Комбинируйте условие уверенности с ответом, чтобы у каждого действия был свой порог, — переводу нужна большая уверенность, чем проверке баланса:

{
  "field": "intent",
  "on": "output",
  "operator": "eq",
  "value": "approve_transfer",
  "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
  "action": "escalate"
}

Это паттерн маршрутизации с порогом уверенности.

Назначения могут следовать той же логике: задайте маршруту собственную минимальную уверенность или отправляйте каждый escalate человеку через вебхук, workflow или API-запрос — см. Триггеры.

4. Действие fallback

settings.fallbackAction — действие, которое используется для ответов other, промахов минимальной уверенности и — если вы это включите — сбоев движка. По умолчанию это escalate:

fallbackActionИспользуйте, когда неуверенные случаи должны…
escalate (по умолчанию)попадать к человеку или в очередь на проверку
fallbackидти по более сильному и дорогому пути — большая модель, больше поиска
blockотбрасываться (строгая модерация)
continueвсё равно продолжаться — неопределённость только логируется

Всё вместе

const decision = await response.json();
const reason = decision.action_reason;

switch (decision.action) {
  case "continue":
    return automate(decision.result);
  case "escalate": {
    const why =
      reason.type === "other_option"
        ? `no option fits "${reason.question}"`
        : reason.type === "low_confidence"
          ? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
          : reason.type === "engine_error"
            ? `the engine failed (${reason.code})`
            : `policy rule ${reason.rule + 1}`;
    return reviewQueue.add({ item, why, executionId: decision.execution_id });
  }
  case "fallback":
    return largeModel.handle(item);
  case "block":
    return reject(item);
}

Почти ничьи

Два варианта могут делить массу вероятности — { "sales": 0.46, "sdr": 0.40 } — при том что лучший ответ проходит низкий порог. Playground помечает такие почти ничьи (второй вариант выше 20% и отстаёт меньше чем на 15 пунктов). Исправляйте их у источника: сделайте описания двух вариантов взаимоисключающими, затем запустите те же входные данные снова и посмотрите Сравнение с предыдущим запуском. Используйте ?include=probabilities, чтобы обнаруживать их в продакшене, — см. Уверенность и вероятности.

Ошибки движка: ошибка или действие fallback

По умолчанию fallback-действие применяется к ответам, а не к сбоям: если движок не уложился во время или дал сбой — после собственных повторов Dcision, — API возвращает ошибку (503, 504, …) и никакого действия. Маршрутизируйте ошибки явно — большинство интеграций после повтора обрабатывают их как escalate:

if (!response.ok) {
  const { error } = await response.json();
  if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
    return retryLater(item); // or escalate
  }
  throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}

Или пусть это обрабатывает решение: с "onEngineError": "fallback" в его настройках сбой движка отвечает 200 с fallback-действием и { "type": "engine_error", "code": "ENGINE_TIMEOUT" }, пустым result и без списания — а switch выше обрабатывает его как любой другой escalate. Повтор позже с тем же Idempotency-Key снова обращается к движку. См. Настройки решения.

Мониторинг

  • Вкладка Обзор решения измеряет ответы other, почти ничьи, низкую уверенность и эффект каждого minConfidence по вопросам и подсказывает, что изменить, — см. Обзор и калибровка.
  • В Выполнениях открывайте запуски с escalate и читайте их причину: много причин other_option означает, что ваши варианты упускают частый случай; много причин low_confidence по одному вопросу означает, что его инструкции или описания расплывчаты, — см. Как писать хорошие вопросы.
  • Получайте те же данные из кода через GET /v1/executions, чтобы строить графики причин и уверенности во времени и калибровать пороги по результатам.
  • Запускайте эти входные данные снова в Playground после каждой правки, затем публикуйте.

На этой странице