Roteamento de modelo
Mande cada prompt para o modelo mais barato que basta — fast, balanced ou frontier — e jogue seguro quando o nível não está claro, com o template Roteamento de modelo.
Objetivo: parar de mandar todo prompt para o seu modelo mais caro. Uma decisão barata escolhe o nível; o seu código (ou um destino de LLM) chama esse modelo.
Crie a decisão
Templates → Roteamento de modelo → Criar decisão:
| Parte | Conteúdo |
|---|---|
| Estado | prompt (string, obrigatório) |
tier | choice — fast, balanced, frontier, other; confiança mínima 0,6 |
complexity | score — trivial, simple, moderate, hard, very hard |
| Políticas | nenhuma; ação de fallback fallback |
| Destinos | função callModel com prompt e model = fast / balanced / frontier por nível; frontier_when_unsure em fallback |
Chame a decisão
curl -X POST https://api.dcision.io/v1/decisions/model-routing \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'O prompt do estado é "Translate 'good morning, how are you?' to Spanish.".
{
"schema": "model-routing",
"result": { "tier": "fast", "complexity": "trivial" },
"confidence": { "tier": 0.91, "complexity": 0.88 },
"action": "continue",
"destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}Aja sobre a resposta
const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);Ajuste
- Deixe a Dcision chamar o modelo: substitua cada função por um destino de LLM na sua chave OpenRouter ou Vercel AI Gateway — a resposta volta na mesma resposta da API.
- Descreva os seus níveis nas descrições das opções, com exemplos do seu próprio tráfego.
- Acompanhe a Visão geral: se muitos prompts caem em
fallback, deixe as opções mais precisas antes de subir o limiar.
Guardrail de entrada
Verifique se o prompt de um usuário é seguro para repassar ao seu LLM e responda aos inseguros com uma resposta fixa, sem chamar modelo, com o template Input Guardrail.
Reranking de documentos
Avalie o quanto cada documento recuperado responde à consulta, ordene os candidatos por um rerank score de 0 a 1 e descarte os irrelevantes, com o template Reranking de documentos.