Roteamento de agentes

Deixe um agente de IA escolher a primeira ferramenta e decidir quando uma tarefa realmente precisa de um large language model, com o template Roteamento de agentes.

Objetivo: antes que um agente gaste uma chamada de modelo grande planejando, decidir de forma barata qual ferramenta ele deve usar primeiro — e mandar para o LLM só as tarefas que precisam de raciocínio em várias etapas.

Crie a decisão

Templates → Roteamento de agentes → Criar decisão:

ParteConteúdo
Estadotask (string, obrigatório) — o que o usuário pediu ao agente
selected_toolchoice — search (precisa de informação recente da web), database (precisa de dados dos nossos próprios registros), calculator (precisa de um cálculo), none (pode responder direto), other
needs_reasoningprobability — esta tarefa precisa de raciocínio em várias etapas de um large language model?
Políticas1. needs_reasoning ≥ 0.8 → fallback

Chame-a

curl -X POST https://api.dcision.io/v1/decisions/agent-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "task": "How many orders did we ship to Germany last week?" } }'
200 OK
{
  "decision_id": "dec_Ka9Wd4Tm1Xq7Rz3Ln8Bv",
  "execution_id": "exec_Pq2Zr8Hv5Nc1Jt6Mw3Ds",
  "schema": "agent-routing",
  "version": 1,
  "result": { "selected_tool": "database", "needs_reasoning": 0.31 },
  "confidence": { "selected_tool": 0.8625, "needs_reasoning": 0.38 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 301, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00000882, "input_tokens": 210, "output_tokens": 22 }
}

Uma consulta aos seus próprios dados, com pouco raciocínio: chame a ferramenta database direto. Uma tarefa como "Compare our churn by plan over the last three quarters and suggest pricing changes" voltaria com um needs_reasoning alto, e a regra 0 devolveria fallback.

Aja sobre o resultado

type Decision = {
  action: "continue" | "block" | "escalate" | "fallback";
  result: { selected_tool: "search" | "database" | "calculator" | "none" | "other"; needs_reasoning: number };
};

async function handle(task: string) {
  const response = await fetch("https://api.dcision.io/v1/decisions/agent-routing", {
    method: "POST",
    headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
    body: JSON.stringify({ state: { task } }),
  });
  if (!response.ok) return planner.run(task); // on errors, fall back to the full agent

  const decision = (await response.json()) as Decision;
  if (decision.action !== "continue") return planner.run(task); // fallback or escalate: full LLM planning

  switch (decision.result.selected_tool) {
    case "database":
      return tools.database(task);
    case "search":
      return tools.search(task);
    case "calculator":
      return tools.calculator(task);
    case "none":
      return llm.answer(task); // a direct, single-step answer
    default:
      return planner.run(task); // "other": no tool fits
  }
}

Um selected_tool igual a other sem nenhuma política correspondente devolve a ação de fallback (escalate por padrão) — tratada acima pelo ramo action !== "continue".

Ajuste

  • Descreva cada ferramenta pelo que ela consegue responder, com exclusões: "our orders, customers and invoices — not product documentation". Uma descrição em JSON como { "what": "…", "not_for": "…", "examples": ["…"] } deixa os limites explícitos.
  • Adicione as suas ferramentas como opções — até 254, mais other — e mantenha none para as tarefas que o agente consegue responder direto. O Jev pode tender para a primeira opção: reordene as ferramentas no Playground e confira se as respostas se mantêm.
  • Mova o limiar: baixe a regra de needs_reasoning para 0.7 se as suas ferramentas falham com frequência em tarefas complexas, ou suba-a para economizar chamadas de LLM.
  • Passe a conversa: adicione campos como history ou user_role ao estado — campos não declarados são repassados ao engine. Envie os últimos turnos, não o histórico inteiro: contexto sem relação reduz a precisão.
  • Escolha os argumentos também. Quando uma ferramenta recebe um argumento de conjunto fechado (uma região, um tipo de relatório), adicione uma pergunta de choice por argumento na mesma decisão — uma chamada responde a ferramenta e os argumentos. É o padrão de roteamento por intenção aplicado a ferramentas.

Nesta página