Enrutamiento de modelo

Envía cada prompt al modelo más barato que baste —rápido, intermedio o de frontera— y juega a lo seguro cuando el nivel no está claro, con la plantilla Enrutamiento de modelo.

Objetivo: dejar de enviar cada prompt a tu modelo más caro. Una decisión barata elige el nivel; tu código (o un destino LLM) llama a ese modelo.

Crea la decisión

Plantillas → Enrutamiento de modelo → Crear decisión:

ParteContenido
Stateprompt (string, obligatorio)
tierchoice — fast, balanced, frontier, other; confianza mínima 0.6
complexityscore — trivial, simple, moderate, hard, very hard
Políticasninguna; acción de fallback fallback
Destinosfunción callModel con prompt y model = fast / balanced / frontier según el nivel; frontier_when_unsure en fallback

Llámala

curl -X POST https://api.dcision.io/v1/decisions/model-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'

El prompt del estado es "Translate 'good morning, how are you?' to Spanish.".

200 OK (abreviado)
{
  "schema": "model-routing",
  "result": { "tier": "fast", "complexity": "trivial" },
  "confidence": { "tier": 0.91, "complexity": 0.88 },
  "action": "continue",
  "destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}

Actúa según el resultado

const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);

Ajústala

  • Deja que Dcision llame al modelo: reemplaza cada función por un destino LLM con tu clave de OpenRouter o de Vercel AI Gateway; la respuesta vuelve en la misma respuesta de la API.
  • Describe tus niveles en las descripciones de las opciones, con ejemplos de tu propio tráfico.
  • Observa el Resumen: si muchos prompts caen en fallback, afina las opciones antes de subir el umbral.

En esta página