处理低置信度和 other

设计能够承认不确定性的决策——保留的 other 选项、最低置信度、置信度策略、fallback 行动、接近平局以及引擎错误 fallback。

一个总是自信作答的决策,有时是在说谎。Jev 的概率是经过校准的,因此它的置信度值得据此行动;Dcision 为你提供了四种工具,让不确定性成为一个明确、可路由的结果,而不是一个悄无声息的错误回答。

1. other 选项

每个 choice 问题都有一个保留的 other 选项,它会被自动添加为最后一个选项(“以上选项都不是”)。它让引擎可以表示没有合适的选项,而不是挑一个错得最少的选项。

当某个 choice 回答 other 且没有匹配的策略时,响应会带上决策的 fallback 行动:

{
  "result": { "route": "other" },
  "action": "escalate",
  "action_reason": { "type": "other_option", "question": "route" }
}

当“都不是”对你有特定含义时,请描述 other:

{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }

2. 最低置信度

在问题上设置 minConfidence,把低于该值的回答视为不确定:

{
  "key": "route",
  "type": "choice",
  "instructions": "Which team should receive this lead?",
  "minConfidence": 0.8,
  "options": [ … ]
}
{
  "result": { "route": "sdr" },
  "confidence": { "route": 0.52 },
  "action": "escalate",
  "action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}

对于 choice 和 score 问题,从 0.8 左右(编辑器的默认值)开始,再根据真实流量调整。对于 probability 问题,置信度为 |2p − 1|,即与抛硬币的距离:minConfidence 为 0.8 会标记所有介于 0.1 和 0.9 之间的概率,0.6 则标记所有介于 0.2 和 0.8 之间的概率——参见该表格。

3. 置信度策略

当不同的问题——或不同的回答——需要不同的行动时,使用 "on": "confidence" 编写显式规则。它们在 other 和最低置信度检查之前运行:

{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }

此时响应会显示 { "type": "policy", "rule": 1 }(规则的索引,从 0 开始)。

把置信度条件与某个回答结合起来,为每个行动设定各自的阈值——转账比查询余额需要更高的确定性:

{
  "field": "intent",
  "on": "output",
  "operator": "eq",
  "value": "approve_transfer",
  "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
  "action": "escalate"
}

这就是置信度门控路由模式。

目的地也可以遵循同样的逻辑:为某条路由设置它自己的最低置信度,或者通过 webhook、工作流或 API 请求把每个 escalate 都交给人工——参见触发条件。

4. fallback 行动

settings.fallbackAction 是用于 other 回答、未达到最低置信度,以及——在你选择启用时——引擎故障的行动。默认值为 escalate:

fallbackAction当不确定的情况应该……时使用
escalate(默认)交给人工或审核队列
fallback走更强、更昂贵的路径——大模型、更多检索
block被丢弃(严格审核)
continue照常进行——不确定性只会被记录

综合运用

const decision = await response.json();
const reason = decision.action_reason;

switch (decision.action) {
  case "continue":
    return automate(decision.result);
  case "escalate": {
    const why =
      reason.type === "other_option"
        ? `no option fits "${reason.question}"`
        : reason.type === "low_confidence"
          ? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
          : reason.type === "engine_error"
            ? `the engine failed (${reason.code})`
            : `policy rule ${reason.rule + 1}`;
    return reviewQueue.add({ item, why, executionId: decision.execution_id });
  }
  case "fallback":
    return largeModel.handle(item);
  case "block":
    return reject(item);
}

接近平局

两个选项可能会分摊概率——{ "sales": 0.46, "sdr": 0.40 }——而排名第一的回答仍能通过较低的阈值。Playground 会标记这些接近平局(第二名高于 20%,且与第一名相差不到 15 个百分点)。请从根源上解决:让两个选项的描述互斥,然后重新运行同一个输入并查看与上一次运行对比。在生产环境中使用 ?include=probabilities 来检测它们——参见置信度与概率。

引擎错误:返回错误还是 fallback 行动

默认情况下,fallback 行动适用于回答,而不适用于故障:如果引擎超时或出错——在 Dcision 自身的重试之后——API 会返回一个错误(503、504……),而不返回行动。请显式地路由错误——大多数集成在重试一次后会把它们当作 escalate 处理:

if (!response.ok) {
  const { error } = await response.json();
  if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
    return retryLater(item); // or escalate
  }
  throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}

或者让决策自己处理:在其设置中加入 "onEngineError": "fallback" 后,引擎故障会以 200 返回 fallback 行动和 { "type": "engine_error", "code": "ENGINE_TIMEOUT" },result 为空,不收费——上面的 switch 会像处理其他 escalate 一样处理它。稍后使用相同的 Idempotency-Key 重试会再次到达引擎。参见决策设置。

监控

  • 决策的概览标签页会按问题统计 other 回答、接近平局、低置信度以及每个 minConfidence 的影响,并建议需要修改的地方——参见概览与校准。
  • 在执行记录中,打开 escalate 的运行并查看其原因:大量 other_option 原因说明你的选项漏掉了一种常见情况;某个问题上大量 low_confidence 原因说明它的指令或描述含糊不清——参见编写好的问题。
  • 通过 GET /v1/executions 在代码中获取同样的数据,绘制原因和置信度随时间变化的图表,并根据实际结果校准阈值。
  • 每次修改后,在 Playground 中重新运行这些输入,然后再部署。

本页内容