Roteamento de modelo

Mande cada prompt para o modelo mais barato que basta — fast, balanced ou frontier — e jogue seguro quando o nível não está claro, com o template Roteamento de modelo.

Objetivo: parar de mandar todo prompt para o seu modelo mais caro. Uma decisão barata escolhe o nível; o seu código (ou um destino de LLM) chama esse modelo.

Crie a decisão

Templates → Roteamento de modelo → Criar decisão:

ParteConteúdo
Estadoprompt (string, obrigatório)
tierchoice — fast, balanced, frontier, other; confiança mínima 0,6
complexityscore — trivial, simple, moderate, hard, very hard
Políticasnenhuma; ação de fallback fallback
Destinosfunção callModel com prompt e model = fast / balanced / frontier por nível; frontier_when_unsure em fallback

Chame a decisão

curl -X POST https://api.dcision.io/v1/decisions/model-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'

O prompt do estado é "Translate 'good morning, how are you?' to Spanish.".

200 OK (resumida)
{
  "schema": "model-routing",
  "result": { "tier": "fast", "complexity": "trivial" },
  "confidence": { "tier": 0.91, "complexity": 0.88 },
  "action": "continue",
  "destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}

Aja sobre a resposta

const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);

Ajuste

  • Deixe a Dcision chamar o modelo: substitua cada função por um destino de LLM na sua chave OpenRouter ou Vercel AI Gateway — a resposta volta na mesma resposta da API.
  • Descreva os seus níveis nas descrições das opções, com exemplos do seu próprio tráfego.
  • Acompanhe a Visão geral: se muitos prompts caem em fallback, deixe as opções mais precisas antes de subir o limiar.

Nesta página