模型路由
使用模型路由模板,把每个提示词发送给够用的最便宜模型——fast、balanced 或 frontier——并在档位不明确时稳妥处理。
目标:不再把每个提示词都发送给你最昂贵的模型。由一个便宜的决策选择档位;你的代码(或一个 LLM 目的地)调用对应的模型。
创建决策
模板 → 模型路由 → 创建决策:
| 部分 | 内容 |
|---|---|
| State | prompt(string,必填) |
tier | choice——fast、balanced、frontier、other;最低置信度 0.6 |
complexity | score——trivial、simple、moderate、hard、very hard |
| 策略 | 无;fallback 行动为 fallback |
| 目的地 | 函数 callModel,按档位传入 prompt 和 model = fast / balanced / frontier;在 fallback 时触发 frontier_when_unsure |
调用
curl -X POST https://api.dcision.io/v1/decisions/model-routing \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'状态中的 prompt 为 "Translate 'good morning, how are you?' to Spanish."。
{
"schema": "model-routing",
"result": { "tier": "fast", "complexity": "trivial" },
"confidence": { "tier": 0.91, "complexity": 0.88 },
"action": "continue",
"destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}采取行动
const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);调优
- 让 Dcision 调用模型:把每个函数替换为使用你的 OpenRouter 或 Vercel AI Gateway 密钥的 LLM 目的地——回答会在同一个响应中返回。
- 在选项描述中用你自己流量中的示例描述你的档位。
- 关注概览:如果许多提示词落入
fallback,请先让选项更清晰,再考虑调高阈值。