模型路由

使用模型路由模板,把每个提示词发送给够用的最便宜模型——fast、balanced 或 frontier——并在档位不明确时稳妥处理。

目标:不再把每个提示词都发送给你最昂贵的模型。由一个便宜的决策选择档位;你的代码(或一个 LLM 目的地)调用对应的模型。

创建决策

模板 → 模型路由 → 创建决策:

部分内容
Stateprompt(string,必填)
tierchoice——fast、balanced、frontier、other;最低置信度 0.6
complexityscore——trivial、simple、moderate、hard、very hard
策略无;fallback 行动为 fallback
目的地函数 callModel,按档位传入 prompt 和 model = fast / balanced / frontier;在 fallback 时触发 frontier_when_unsure

调用

curl -X POST https://api.dcision.io/v1/decisions/model-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'

状态中的 prompt 为 "Translate 'good morning, how are you?' to Spanish."。

200 OK (abridged)
{
  "schema": "model-routing",
  "result": { "tier": "fast", "complexity": "trivial" },
  "confidence": { "tier": 0.91, "complexity": 0.88 },
  "action": "continue",
  "destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}

采取行动

const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);

调优

  • 让 Dcision 调用模型:把每个函数替换为使用你的 OpenRouter 或 Vercel AI Gateway 密钥的 LLM 目的地——回答会在同一个响应中返回。
  • 在选项描述中用你自己流量中的示例描述你的档位。
  • 关注概览:如果许多提示词落入 fallback,请先让选项更清晰,再考虑调高阈值。

本页内容