Маршрутизация по намерению

Классифицируйте каждый запрос одним быстрым вызовом и направьте его самому дешёвому подходящему обработчику — коду, специализированной LLM или человеку. На основе шаблона Customer Service Router.

Не каждому запросу нужен один и тот же обработчик. На одни отвечает запрос к базе данных, другим нужна LLM с контекстом предметной области, третьим — человек. Поставьте Dcision перед всеми ними как быстрый и дешёвый классификатор: сначала классифицировать, потом маршрутизировать — и платить за дорогой обработчик, только когда запросу он действительно нужен.

Преимущества: стоимость и скорость. Руководство TypeSafe: Intent routing.

Почему это работает

  • Choice — это закрытое множество. Ответ всегда один из ваших интентов — никогда не свободный текст, который надо разбирать, — с вероятностью для каждого варианта.
  • «Ничего из этого» — тоже ответ. Зарезервированный вариант other позволяет движку сказать, что запрос не подходит ни под один интент, вместо того чтобы выбирать наименее неверный; тогда Dcision возвращает действие fallback.
  • Один вызов отвечает и на маршрут, и на риск. Спрашивайте интент и его сложность вместе, параллельно.
  • Дорогая часть выполняется последней. Справочные запросы идут прямо в код, без LLM; специализированные модели получают только свои запросы, со своим контекстом.

Когда использовать

Входящие сообщения и тикеты, чат- и голосовые ассистенты, агент, выбирающий первый инструмент, любая очередь, где запросам нужно разное, — до того как платить за вызов LLM.

Как это ложится на Dcision

В руководстве TypeSafeВ Dcision
Choice для интентаВопрос choice плюс зарезервированный other
Score для сложностиВопрос score; его взвешенный уровень (scores) можно использовать в правилах
if intent.confidence < 0.5: humanminConfidence у вопроса об интенте или правило на его уверенность
complaint → человеку, если сложно или неясноПравила, которые делают escalate для случаев, которые должен увидеть человек
handle_order_status(), handle_with_llm(…)Ваш код маршрутизирует по result.intent, когда действие — continue

Соберите его

В приложении

Откройте Шаблоны и выберите Маршрутизатор клиентского сервиса (маршрутизация по намерению). Назовите решение Customer Service Router, чтобы его slug был customer-service-router, затем нажмите Создать решение.

State — Текст: сообщение клиента.

Два вопроса, на которые отвечает один и тот же вызов:

ВопросТипОтветы
intentchoiceorder_status (отвечает запрос к базе данных), billing_question, technical_issue, complaint, other
complexityscoresimple, moderate, complex

В разделе Политики передавайте человеку то, что он должен увидеть:

  1. IF intent · ответ · = · complaint — THEN escalate.
  2. IF intent · ответ · = · technical_issue, + AND complexity · взвешенный уровень · ≥ · 2.5 — THEN escalate.
  3. IF complexity · уверенность · < · 0.5 — THEN escalate: если решение не может определить, насколько сложен запрос, не автоматизируйте его.

Действие fallback — escalate, поэтому other тоже попадает к человеку.

Проверьте реальные сообщения в Playground, затем нажмите Опубликовать v1.

Схема решения

{
  "stateSchema": { "kind": "text" },
  "questions": [
    {
      "key": "intent",
      "type": "choice",
      "instructions": "What is the customer asking for?",
      "options": [
        { "value": "order_status", "description": "where is my order, tracking, delivery date (answered by a database lookup)" },
        { "value": "billing_question", "description": "charges, invoices, refunds, payment methods" },
        { "value": "technical_issue", "description": "the product or app is not working as expected" },
        { "value": "complaint", "description": "dissatisfaction, wants to escalate or talk to a manager" }
      ]
    },
    {
      "key": "complexity",
      "type": "score",
      "instructions": "How complex is it to resolve this request?",
      "scale": ["simple", "moderate", "complex"]
    }
  ],
  "policies": [
    { "field": "intent", "on": "output", "operator": "eq", "value": "complaint", "action": "escalate" },
    {
      "field": "intent",
      "on": "output",
      "operator": "eq",
      "value": "technical_issue",
      "and": [{ "field": "complexity", "on": "score", "operator": "gte", "value": 2.5 }],
      "action": "escalate"
    },
    { "field": "complexity", "on": "confidence", "operator": "lt", "value": 0.5, "action": "escalate" }
  ],
  "settings": { "fallbackAction": "escalate" }
}

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/customer-service-router \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": "My order #4821 was supposed to arrive yesterday. Can you tell me where it is?" }'
200 OK
{
  "decision_id": "dec_Lr5Tw9Mc2Qx7Hb4Nz1Kg",
  "execution_id": "exec_Fv1Wd6Kp3Zs8Qm2Tx7Lh",
  "schema": "customer-service-router",
  "version": 1,
  "result": { "intent": "order_status", "complexity": "simple" },
  "confidence": { "intent": 0.925, "complexity": 0.76 },
  "scores": { "complexity": 1.16 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": {
    "latency_ms": 233,
    "engine": "jev",
    "model": "jev-1.13.0",
    "estimated_cost_usd": 0.00000966,
    "input_tokens": 230,
    "output_tokens": 21
  }
}

Ни одно правило не сработало: простой вопрос о статусе заказа, на который код может ответить без всякой LLM.

Действуйте по результату

type Intent = "order_status" | "billing_question" | "technical_issue" | "complaint" | "other";

async function route(message: Message) {
  const response = await fetch("https://api.dcision.io/v1/decisions/customer-service-router", {
    method: "POST",
    headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
    body: JSON.stringify({ state: message.text }),
  });
  if (!response.ok) return humanQueue.add(message); // errors: a person decides

  const decision = await response.json();
  if (decision.action !== "continue") return humanQueue.add(message, { reason: decision.action_reason });

  switch (decision.result.intent as Intent) {
    case "order_status":
      return orders.replyWithTracking(message); // deterministic code, no LLM
    case "billing_question":
      return llm.answer(message, BILLING_SPECIALIST);
    case "technical_issue":
      return llm.answer(message, SUPPORT_SPECIALIST); // complex ones were escalated by rule 1
    default:
      return humanQueue.add(message);
  }
}

Настройте его

  • Ограничьте сам интент порогом. Версия TypeSafe отправляет человеку всё, у чего уверенность в интенте ниже 0.5: задайте "minConfidence": 0.5 у intent, чтобы сделать то же самое.
  • Сделайте границы явными. Описывайте каждый интент тем, что он охватывает и чего не охватывает, — описания вариантов принимают JSON-рубрики вида { "what": "…", "not_for": "…", "examples": ["…"] }. См. Вопросы.
  • Проверьте порядок вариантов. Jev может склоняться к варианту, указанному первым. Поменяйте порядок вариантов в Playground и убедитесь, что ответы не меняются.
  • Опишите other, когда «ничего из этого» для вас что-то значит, — «не о заказе, счёте или приложении», — чтобы сообщения не по теме попадали в действие fallback.
  • Расширяйте набор по мере изучения. Choice вмещает до 254 вариантов плюс other. Следите за причинами other_option в разделе Выполнения, чтобы найти недостающие интенты.
  • Маршрутизируйте инструменты так же. Шаблон Маршрутизация агентов применяет этот паттерн к первому инструменту ИИ-агента.

См. также: Маршрутизация с порогом уверенности · Маршрутизация поддержки · Обнаружение спама

На этой странице