处理低置信度和 other
设计能够承认不确定性的决策——保留的 other 选项、最低置信度、置信度策略、fallback 行动、接近平局以及引擎错误 fallback。
一个总是自信作答的决策,有时是在说谎。Jev 的概率是经过校准的,因此它的置信度值得据此行动;Dcision 为你提供了四种工具,让不确定性成为一个明确、可路由的结果,而不是一个悄无声息的错误回答。
1. other 选项
每个 choice 问题都有一个保留的 other 选项,它会被自动添加为最后一个选项(“以上选项都不是”)。它让引擎可以表示没有合适的选项,而不是挑一个错得最少的选项。
当某个 choice 回答 other 且没有匹配的策略时,响应会带上决策的 fallback 行动:
{
"result": { "route": "other" },
"action": "escalate",
"action_reason": { "type": "other_option", "question": "route" }
}当“都不是”对你有特定含义时,请描述 other:
{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }2. 最低置信度
在问题上设置 minConfidence,把低于该值的回答视为不确定:
{
"key": "route",
"type": "choice",
"instructions": "Which team should receive this lead?",
"minConfidence": 0.8,
"options": [ … ]
}{
"result": { "route": "sdr" },
"confidence": { "route": 0.52 },
"action": "escalate",
"action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}对于 choice 和 score 问题,从 0.8 左右(编辑器的默认值)开始,再根据真实流量调整。对于 probability 问题,置信度为 |2p − 1|,即与抛硬币的距离:minConfidence 为 0.8 会标记所有介于 0.1 和 0.9 之间的概率,0.6 则标记所有介于 0.2 和 0.8 之间的概率——参见该表格。
3. 置信度策略
当不同的问题——或不同的回答——需要不同的行动时,使用 "on": "confidence" 编写显式规则。它们在 other 和最低置信度检查之前运行:
{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }此时响应会显示 { "type": "policy", "rule": 1 }(规则的索引,从 0 开始)。
把置信度条件与某个回答结合起来,为每个行动设定各自的阈值——转账比查询余额需要更高的确定性:
{
"field": "intent",
"on": "output",
"operator": "eq",
"value": "approve_transfer",
"and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
"action": "escalate"
}这就是置信度门控路由模式。
目的地也可以遵循同样的逻辑:为某条路由设置它自己的最低置信度,或者通过 webhook、工作流或 API 请求把每个 escalate 都交给人工——参见触发条件。
4. fallback 行动
settings.fallbackAction 是用于 other 回答、未达到最低置信度,以及——在你选择启用时——引擎故障的行动。默认值为 escalate:
fallbackAction | 当不确定的情况应该……时使用 |
|---|---|
escalate(默认) | 交给人工或审核队列 |
fallback | 走更强、更昂贵的路径——大模型、更多检索 |
block | 被丢弃(严格审核) |
continue | 照常进行——不确定性只会被记录 |
综合运用
const decision = await response.json();
const reason = decision.action_reason;
switch (decision.action) {
case "continue":
return automate(decision.result);
case "escalate": {
const why =
reason.type === "other_option"
? `no option fits "${reason.question}"`
: reason.type === "low_confidence"
? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
: reason.type === "engine_error"
? `the engine failed (${reason.code})`
: `policy rule ${reason.rule + 1}`;
return reviewQueue.add({ item, why, executionId: decision.execution_id });
}
case "fallback":
return largeModel.handle(item);
case "block":
return reject(item);
}接近平局
两个选项可能会分摊概率——{ "sales": 0.46, "sdr": 0.40 }——而排名第一的回答仍能通过较低的阈值。Playground 会标记这些接近平局(第二名高于 20%,且与第一名相差不到 15 个百分点)。请从根源上解决:让两个选项的描述互斥,然后重新运行同一个输入并查看与上一次运行对比。在生产环境中使用 ?include=probabilities 来检测它们——参见置信度与概率。
引擎错误:返回错误还是 fallback 行动
默认情况下,fallback 行动适用于回答,而不适用于故障:如果引擎超时或出错——在 Dcision 自身的重试之后——API 会返回一个错误(503、504……),而不返回行动。请显式地路由错误——大多数集成在重试一次后会把它们当作 escalate 处理:
if (!response.ok) {
const { error } = await response.json();
if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
return retryLater(item); // or escalate
}
throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}或者让决策自己处理:在其设置中加入 "onEngineError": "fallback" 后,引擎故障会以 200 返回 fallback 行动和 { "type": "engine_error", "code": "ENGINE_TIMEOUT" },result 为空,不收费——上面的 switch 会像处理其他 escalate 一样处理它。稍后使用相同的 Idempotency-Key 重试会再次到达引擎。参见决策设置。
监控
- 决策的概览标签页会按问题统计
other回答、接近平局、低置信度以及每个minConfidence的影响,并建议需要修改的地方——参见概览与校准。 - 在执行记录中,打开
escalate的运行并查看其原因:大量other_option原因说明你的选项漏掉了一种常见情况;某个问题上大量low_confidence原因说明它的指令或描述含糊不清——参见编写好的问题。 - 通过
GET /v1/executions在代码中获取同样的数据,绘制原因和置信度随时间变化的图表,并根据实际结果校准阈值。 - 每次修改后,在 Playground 中重新运行这些输入,然后再部署。