Маршрутизация агентов

Позвольте ИИ-агенту выбрать первый инструмент и решить, когда задаче действительно нужна большая языковая модель, с шаблоном Agent Routing.

Цель: прежде чем агент потратит вызов большой модели на планирование, дёшево решить, какой инструмент ему использовать первым, — и отправлять в LLM только задачи, которым нужны многошаговые рассуждения.

Создайте решение

Шаблоны → Маршрутизация агентов → Создать решение:

ЧастьСодержимое
Statetask (строка, обязательная) — что пользователь попросил у агента
selected_toolchoice — search (нужна свежая информация из интернета), database (нужны данные из наших собственных записей), calculator (нужен расчёт), none (можно ответить сразу), other
needs_reasoningprobability — нужны ли этой задаче многошаговые рассуждения большой языковой модели?
Политики1. needs_reasoning ≥ 0.8 → fallback

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/agent-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "task": "How many orders did we ship to Germany last week?" } }'
200 OK
{
  "decision_id": "dec_Ka9Wd4Tm1Xq7Rz3Ln8Bv",
  "execution_id": "exec_Pq2Zr8Hv5Nc1Jt6Mw3Ds",
  "schema": "agent-routing",
  "version": 1,
  "result": { "selected_tool": "database", "needs_reasoning": 0.31 },
  "confidence": { "selected_tool": 0.8625, "needs_reasoning": 0.38 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 301, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00000882, "input_tokens": 210, "output_tokens": 22 }
}

Поиск в ваших собственных данных с небольшим объёмом рассуждений: вызывайте инструмент database напрямую. Задача вроде «Сравни наш отток по тарифам за последние три квартала и предложи изменения цен» вернулась бы с высоким needs_reasoning, и правило 0 вернуло бы fallback.

Действуйте по результату

type Decision = {
  action: "continue" | "block" | "escalate" | "fallback";
  result: { selected_tool: "search" | "database" | "calculator" | "none" | "other"; needs_reasoning: number };
};

async function handle(task: string) {
  const response = await fetch("https://api.dcision.io/v1/decisions/agent-routing", {
    method: "POST",
    headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
    body: JSON.stringify({ state: { task } }),
  });
  if (!response.ok) return planner.run(task); // on errors, fall back to the full agent

  const decision = (await response.json()) as Decision;
  if (decision.action !== "continue") return planner.run(task); // fallback or escalate: full LLM planning

  switch (decision.result.selected_tool) {
    case "database":
      return tools.database(task);
    case "search":
      return tools.search(task);
    case "calculator":
      return tools.calculator(task);
    case "none":
      return llm.answer(task); // a direct, single-step answer
    default:
      return planner.run(task); // "other": no tool fits
  }
}

selected_tool со значением other без совпавшей политики возвращает fallback-действие (по умолчанию escalate) — выше оно обрабатывается веткой action !== "continue".

Настройте его

  • Описывайте каждый инструмент через то, на что он может ответить, с исключениями: «наши заказы, клиенты и счета — не документация продукта». JSON-описание вроде { "what": "…", "not_for": "…", "examples": ["…"] } делает границы явными.
  • Добавьте свои инструменты как варианты — до 254, плюс other — и оставьте none для задач, на которые агент может ответить сразу. Jev может склоняться к первому варианту: поменяйте порядок инструментов в Playground и проверьте, что ответы не меняются.
  • Сдвиньте порог: снизьте правило needs_reasoning до 0.7, если ваши инструменты часто не справляются со сложными задачами, повысьте, чтобы сэкономить вызовы LLM.
  • Передавайте разговор: добавьте в state поля вроде history или user_role — необъявленные поля передаются движку. Отправляйте последние реплики, а не всю историю: несвязанный контекст снижает точность.
  • Выбирайте и аргументы. Когда инструмент принимает аргумент из закрытого набора (регион, тип отчёта), добавьте в то же решение choice-вопрос на каждый аргумент — один вызов отвечает и на инструмент, и на его аргументы. Это паттерн маршрутизации по намерению, применённый к инструментам.

На этой странице