Спекулятивный fan-out

Задайте за один вызов все вопросы, которые могут понадобиться процессу, — Jev отвечает на них параллельно, — а правила AND и ваш код решат, какие ответы важны. На основе шаблона Support Ticket Triage.

Задайте за один вызов все вопросы, которые могут понадобиться процессу, — Jev отвечает на них параллельно, — и пусть правила и ваш код решают, какие ответы важны. Вместо того чтобы сначала спрашивать категорию тикета, а серьёзность бага — следующим вызовом, спросите и то и другое сразу: если тикет не баг-репорт, вы просто игнорируете серьёзность.

Преимущества: стоимость и скорость. Руководство TypeSafe: Speculative fan-out.

Почему это работает

  • Один круг запроса. Jev читает состояние один раз и оценивает по нему каждый вопрос независимо и параллельно, поэтому дополнительные вопросы почти не добавляют задержки. В рецепте TypeSafe parallel questions объединение 13 вопросов в один вызов оказалось примерно в 12 раз дешевле и в 10 раз быстрее, чем по вызову на вопрос, с теми же ответами.
  • Одно тарифицируемое решение. Dcision тарифицирует успешные вызовы, а не вопросы: решение с пятью вопросами — это одно решение в вашем тарифе. Стоимость движка растёт только на входные токены дополнительных вопросов — см. metrics.input_tokens.
  • Никакой скрытой связанности. Каждый ответ вычисляется отдельно; ответ одного вопроса никогда не становится контекстом для другого. Ваши правила объединяют их уже потом.

Когда использовать

Сортировка, где следующие шаги зависят от предыдущих ответов, — категория → серьёзность бага → возврат, — и любой процесс, который иначе выстраивал бы вызовы в цепочку («если A, то спросить B»). Решение вмещает до 64 вопросов в пределах бюджета токенов Jev: около 32 000 токенов на состояние плюс самый длинный вопрос, 64 000 — на состояние плюс все вопросы.

Как это ложится на Dcision

В руководстве TypeSafeВ Dcision
Все вопросы в одном запросеВсе вопросы в одном решении — один POST /v1/decisions/{slug}
Спекулятивные вопросыВопросы, которые важны только в некоторых ветках, например bug_severity
if category == "bug_report" and severity > … в вашем кодеПравило с условиями and: category = bug_report AND bug_severity ≥ 4 → escalate
frustration.score > 1.5 (уровни считаются с 0)Правило по взвешенному уровню: frustration (взвешенный уровень) ≥ 3.5 → escalate (уровни считаются с 1)

Правила содержат маршрутизацию, которая должна быть последовательной и проверяемой; ваш код по-прежнему читает каждый ответ в result.

Сборка

В приложении

Откройте Шаблоны, найдите Сортировка тикетов поддержки (fan-out) — в разделе Все шаблоны или через Попробовать на карточке Спекулятивный fan-out — и выберите его. На шаге Дайте название назовите решение Ticket Triage: slug — ваш endpoint — создаётся из названия и становится ticket-triage. (Полное название шаблона дало бы support-ticket-triage-fan-out; slug также можно изменить в редакторе до первой публикации.) Нажмите Создать решение.

State — JSON-объект с полями subject (string) и body (string, обязательное).

Вопросы — это сразу всё дерево решений:

ВопросТипОтветыВажен, когда
categorychoicebug_report, billing, feature_request, how_to, otherвсегда
bug_severityscorecosmetic, minor, major, criticalбаг-репорты (спекулятивный)
has_reproducible_stepsprobabilityтикет содержит шаги для воспроизведения проблемыбаг-репорты (спекулятивный)
refund_requestedprobabilityклиент явно просит возврат или кредитоплата (спекулятивный)
frustrationscorecalm, annoyed, frustrated, very angryвсегда

Уровень critical — структурированный уровень, { "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }, поэтому движок читает рубрику, а API возвращает метку critical.

В Политиках каждое правило читается как IF условие [AND условие…] THEN действие:

  1. IF category · ответ · = · bug_report, затем + AND bug_severity · ответ · ≥ · 4 · critical — THEN escalate.
  2. IF refund_requested · ответ · ≥ · 0.8 — THEN escalate.
  3. IF frustration · взвешенный уровень · ≥ · 3.5 — THEN escalate.

Действие fallback остаётся escalate, поэтому тикет, не подходящий ни под одну категорию (other), тоже попадает к человеку.

Запустите пример тикета в Playground, проверьте ответы и действие, затем нажмите Опубликовать v1. Панель Паттерны в редакторе теперь отмечает Спекулятивный fan-out и Маршрутизацию по намерению как используемые.

Схема решения

Вопросы и правила в том виде, в каком их показывает представление Схема решения в редакторе (зарезервированный вариант other добавляется к category автоматически):

{
  "questions": [
    {
      "key": "category",
      "type": "choice",
      "instructions": "What kind of support ticket is this?",
      "options": [
        { "value": "bug_report", "description": "something in the product is broken or behaves incorrectly" },
        { "value": "billing", "description": "charges, invoices, refunds, plans, payment methods" },
        { "value": "feature_request", "description": "asks for something the product doesn't do yet" },
        { "value": "how_to", "description": "asks how to do something that already works" }
      ]
    },
    {
      "key": "bug_severity",
      "type": "score",
      "instructions": "If this describes a bug, how severe is it for the customer?",
      "scale": ["cosmetic", "minor", "major", { "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }]
    },
    { "key": "has_reproducible_steps", "type": "probability", "instructions": "Does the ticket include steps to reproduce the problem?" },
    { "key": "refund_requested", "type": "probability", "instructions": "Does the customer explicitly ask for a refund or credit?" },
    { "key": "frustration", "type": "score", "instructions": "How frustrated is the customer?", "scale": ["calm", "annoyed", "frustrated", "very angry"] }
  ],
  "policies": [
    {
      "field": "category",
      "on": "output",
      "operator": "eq",
      "value": "bug_report",
      "and": [{ "field": "bug_severity", "on": "output", "operator": "gte", "value": 4 }],
      "action": "escalate"
    },
    { "field": "refund_requested", "on": "output", "operator": "gte", "value": 0.8, "action": "escalate" },
    { "field": "frustration", "on": "score", "operator": "gte", "value": 3.5, "action": "escalate" }
  ],
  "settings": { "fallbackAction": "escalate" }
}

В CLI команда dcision init triage.json --template ticket-triage записывает полную схему в файл.

Вызов

curl -X POST https://api.dcision.io/v1/decisions/ticket-triage \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: ticket-90412" \
  -d '{
    "state": {
      "subject": "Payouts failing",
      "body": "Our payouts have been failing for 3 days and customers are complaining. Steps: open Payouts, click Retry, error 500. Please fix ASAP."
    }
  }'
200 OK
{
  "decision_id": "dec_Tq4Wm8Lz2Xv6Rk1Np9Cs",
  "execution_id": "exec_Jd7Hs2Qa5Wn8Lx3Kv1Mz",
  "schema": "ticket-triage",
  "version": 1,
  "result": {
    "category": "bug_report",
    "bug_severity": "critical",
    "has_reproducible_steps": 0.91,
    "refund_requested": 0.04,
    "frustration": "frustrated"
  },
  "confidence": {
    "category": 0.9125,
    "bug_severity": 0.56,
    "has_reproducible_steps": 0.82,
    "refund_requested": 0.92,
    "frustration": 0.59
  },
  "scores": { "bug_severity": 3.56, "frustration": 2.97 },
  "action": "escalate",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": {
    "latency_ms": 368,
    "engine": "jev",
    "model": "jev-1.13.0",
    "estimated_cost_usd": 0.00002184,
    "input_tokens": 520,
    "output_tokens": 58
  }
}

Пять ответов за один вызов. Сработало правило 0: тикет — bug_report, и его наиболее вероятная серьёзность — critical (уровень 4). scores содержит взвешенный уровень каждого вопроса score — bug_severity находится на 3.56, между major и critical.

Действия по результату

Правила решили, должен ли человек посмотреть тикет прямо сейчас; ваш код читает спекулятивные ответы только в той ветке, где они важны:

const decision = await response.json();
const { result } = decision;

if (decision.action === "escalate") {
  return onCall.page(ticket, { reason: decision.action_reason, executionId: decision.execution_id });
}

switch (result.category) {
  case "bug_report":
    return result.has_reproducible_steps >= 0.6
      ? engineering.triage(ticket, { severity: result.bug_severity })
      : bugBacklog.add(ticket, { severity: result.bug_severity });
  case "billing":
    return billing.assign(ticket, { refundLikely: result.refund_requested >= 0.7 });
  case "feature_request":
    return roadmap.log(ticket);
  case "how_to":
    return autoReply.withDocs(ticket);
}

frustration полезен в любой ветке — например, повышайте приоритет, когда decision.scores.frustration равен 3 или больше, даже ниже порога эскалации.

Настройка

  • Добавляйте спекулятивные вопросы свободно. Каждый стоит своих входных токенов, а не отдельного круга запроса. Держитесь в пределах 64 вопросов и бюджета токенов.
  • Делайте каждый вопрос атомарным. Одно суждение на вопрос, читаемое буквально, — см. Как писать хорошие вопросы.
  • Ограничивайте через and, а не через более длинные инструкции. «Если это описание бага, насколько он серьёзен…» остаётся простым вопросом; правило решает, когда его ответ учитывается.
  • Ставьте порог между уровнями с on: "score": frustration ≥ 3.5 срабатывает, когда вес находится между frustration и very angry, а не только когда побеждает very angry.
  • Упорядочивайте правила от частного к общему: побеждает первое совпадение.
  • Отправляйте только тикет. Длинные переписки и посторонние поля снижают точность и расходуют бюджет токенов — отфильтровывайте их в своём коде.

См. также: Политики и действия · Вопросы · Маршрутизация поддержки

На этой странице