Enrutamiento de modelo
Envía cada prompt al modelo más barato que baste —rápido, intermedio o de frontera— y juega a lo seguro cuando el nivel no está claro, con la plantilla Enrutamiento de modelo.
Objetivo: dejar de enviar cada prompt a tu modelo más caro. Una decisión barata elige el nivel; tu código (o un destino LLM) llama a ese modelo.
Crea la decisión
Plantillas → Enrutamiento de modelo → Crear decisión:
| Parte | Contenido |
|---|---|
| State | prompt (string, obligatorio) |
tier | choice — fast, balanced, frontier, other; confianza mínima 0.6 |
complexity | score — trivial, simple, moderate, hard, very hard |
| Políticas | ninguna; acción de fallback fallback |
| Destinos | función callModel con prompt y model = fast / balanced / frontier según el nivel; frontier_when_unsure en fallback |
Llámala
curl -X POST https://api.dcision.io/v1/decisions/model-routing \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'El prompt del estado es "Translate 'good morning, how are you?' to Spanish.".
{
"schema": "model-routing",
"result": { "tier": "fast", "complexity": "trivial" },
"confidence": { "tier": 0.91, "complexity": 0.88 },
"action": "continue",
"destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}Actúa según el resultado
const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);Ajústala
- Deja que Dcision llame al modelo: reemplaza cada función por un destino LLM con tu clave de OpenRouter o de Vercel AI Gateway; la respuesta vuelve en la misma respuesta de la API.
- Describe tus niveles en las descripciones de las opciones, con ejemplos de tu propio tráfico.
- Observa el Resumen: si muchos prompts caen en
fallback, afina las opciones antes de subir el umbral.
Guardrail de entrada
Comprueba si el prompt de un usuario es seguro para pasarlo a tu LLM, y responde los inseguros con una respuesta fija y sin llamar a un modelo, con la plantilla Guardrail de entrada.
Reranking de documentos
Puntúa cuánto responde cada documento recuperado a la consulta, ordena los candidatos por un puntaje de rerank de 0 a 1 y descarta los irrelevantes, con la plantilla Reranking de documentos.