Enrutamiento de agentes

Deja que un agente de IA elija su primera herramienta y decida cuándo una tarea realmente necesita un modelo de lenguaje grande, con la plantilla Enrutamiento de agentes.

Objetivo: antes de que un agente gaste una llamada a un modelo grande para planificar, decidir de forma barata qué herramienta debe usar primero — y enviar al LLM solo las tareas que necesitan razonamiento de varios pasos.

Crear la decisión

Plantillas → Enrutamiento de agentes → Crear decisión:

ParteContenido
Statetask (string, obligatorio) — lo que el usuario le pidió al agente
selected_toolchoice — search (necesita información reciente de la web), database (necesita datos de nuestros propios registros), calculator (necesita un cálculo), none (puede responder directamente), other
needs_reasoningprobability — ¿esta tarea necesita razonamiento de varios pasos de un modelo de lenguaje grande?
Políticas1. needs_reasoning ≥ 0.8 → fallback

Llámala

curl -X POST https://api.dcision.io/v1/decisions/agent-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "task": "How many orders did we ship to Germany last week?" } }'
200 OK
{
  "decision_id": "dec_Ka9Wd4Tm1Xq7Rz3Ln8Bv",
  "execution_id": "exec_Pq2Zr8Hv5Nc1Jt6Mw3Ds",
  "schema": "agent-routing",
  "version": 1,
  "result": { "selected_tool": "database", "needs_reasoning": 0.31 },
  "confidence": { "selected_tool": 0.8625, "needs_reasoning": 0.38 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 301, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00000882, "input_tokens": 210, "output_tokens": 22 }
}

Una consulta en tus propios datos con poco razonamiento: llama directamente a la herramienta database. Una tarea como "Compare our churn by plan over the last three quarters and suggest pricing changes" volvería con un needs_reasoning alto, y la regla 0 devolvería fallback.

Actúa en consecuencia

type Decision = {
  action: "continue" | "block" | "escalate" | "fallback";
  result: { selected_tool: "search" | "database" | "calculator" | "none" | "other"; needs_reasoning: number };
};

async function handle(task: string) {
  const response = await fetch("https://api.dcision.io/v1/decisions/agent-routing", {
    method: "POST",
    headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
    body: JSON.stringify({ state: { task } }),
  });
  if (!response.ok) return planner.run(task); // on errors, fall back to the full agent

  const decision = (await response.json()) as Decision;
  if (decision.action !== "continue") return planner.run(task); // fallback or escalate: full LLM planning

  switch (decision.result.selected_tool) {
    case "database":
      return tools.database(task);
    case "search":
      return tools.search(task);
    case "calculator":
      return tools.calculator(task);
    case "none":
      return llm.answer(task); // a direct, single-step answer
    default:
      return planner.run(task); // "other": no tool fits
  }
}

Un selected_tool igual a other sin ninguna política coincidente devuelve la acción de fallback (escalate de forma predeterminada) — lo maneja arriba la rama action !== "continue".

Ajústala

  • Describe cada herramienta por lo que puede responder, con exclusiones: "nuestros pedidos, clientes y facturas — no la documentación del producto". Una descripción JSON como { "what": "…", "not_for": "…", "examples": ["…"] } hace explícitos los límites.
  • Agrega tus herramientas como opciones — hasta 254, más other — y conserva none para las tareas que el agente puede responder directamente. Jev puede inclinarse por la primera opción: reordena las herramientas en el Playground y comprueba que las respuestas se mantienen.
  • Mueve el umbral: baja la regla de needs_reasoning a 0.7 si tus herramientas fallan a menudo en tareas complejas, súbela para ahorrar llamadas al LLM.
  • Pasa la conversación: agrega campos como history o user_role al estado — los campos no declarados se reenvían al motor. Envía los últimos turnos, no todo el historial: el contexto no relacionado reduce la precisión.
  • Elige también los argumentos. Cuando una herramienta acepta un argumento de un conjunto cerrado (una región, un tipo de informe), agrega una pregunta choice por argumento en la misma decisión — una sola llamada responde la herramienta y sus argumentos. Es el patrón de enrutamiento por intención aplicado a herramientas.

En esta página