置信度与概率

在统一的 0–1 量表上,置信度对每种问题类型意味着什么,它如何影响 minConfidence、加权级别、完整的概率分布以及接近平局。

引擎不只是选出一个回答:它会为每个问题返回一个概率分布。Dcision 把它转换为每个问题的置信度——始终如此——并且可以按需返回完整分布。

校准的概率

Jev 使用 RLCD——reinforcement learning for calibrated decisions(面向校准决策的强化学习)——进行训练,使其返回的概率名副其实。在一个校准良好的模型的大量预测中,被给出 0.2 概率的结果大约有 20% 会发生,被给出 0.8 的大约有 80% 会发生。这是一组回答的性质,而不是对任何单个回答的保证——而这恰恰是阈值、升级和审计能够起作用的原因。

置信度

confidence 为每个问题提供一个 0 到 1 之间的数字,键与 result 相同。它遵循 TypeSafe 的定义,因此所有问题类型共享同一个量表:当所有概率都集中在一个回答上时为 1,当概率均匀分布或回答相当于抛硬币时为 0。

问题类型置信度是……公式
choice所选选项比所有 n 个选项(包括 other)平均分配高出多少(p_max − 1/n) / (1 − 1/n)
score分布围绕最可能等级的集中程度——相邻等级上的概率对它的降低少于远处等级上的概率1 − spread / spread of an even distribution,最低为 0
probability与抛硬币的距离|2p − 1|
  • 对于选择题和评分题,Dcision 使用引擎报告的置信度,它是用这些公式计算的;只有当引擎省略它时,Dcision 才自己应用这些公式。
  • 示例:一个有五个选项且 p_max = 0.88 的选择题,置信度为 0.85。概率 0.9412 的置信度为 0.8824;0.03 为 0.94;0.5 为 0。
  • 对于评分题,spread 是以等级为单位、按概率加权的到最可能等级的距离。有三个等级时,(0, 0.5, 0.5)——在相邻等级之间摇摆——的置信度为 0.25,而 (0.5, 0, 0.5)——在两端之间摇摆——的置信度为 0。

在策略中使用置信度("on": "confidence"),或配合问题的 minConfidence,把不确定的回答路由给人工——参见置信度门控路由。

概率问题上的最低置信度

由于概率的置信度是 |2p − 1|,对它设置的阈值会标记 0.5 附近的一段概率区间:当 p 严格介于 (1 − c) / 2 和 (1 + c) / 2 之间时,回答低于最低置信度 c。

minConfidence标记的概率区间
0.50.25 到 0.75
0.60.2 到 0.8
0.80.1 到 0.9
0.90.05 到 0.95

带 "on": "confidence" 的规则也是如此:purchase_intent 的置信度 lt 0.6 会匹配 0.2 到 0.8 之间的每个 p。编辑器会在概率问题的最低置信度滑块旁显示该区间。

从 v0.1 升级而来?

在 v0.2(2026 年 10 月 5 日)之前,概率的置信度是 max(p, 1 − p)。对于同一个回答,新值更低——p = 0.8 以前的置信度是 0.8,现在是 0.6。要保持旧阈值 t 的行为,请使用 2t − 1:旧的 0.8 变为 0.6。选择题和评分题仍使用引擎自己的置信度;当提供商省略它时,Dcision 现在应用上面的公式,而不是最高概率。请在 Playground 中检查概率问题上的 minConfidence 和置信度规则,然后部署新版本。

加权级别

对于每个评分题,响应中还有 scores:按概率加权的等级,从 1 开始计数。对于分布 low 0.02 · medium 0.21 · high 0.71 · critical 0.06,最可能的等级是 high(3),加权级别为 1 × 0.02 + 2 × 0.21 + 3 × 0.71 + 4 × 0.06 = 2.81。

{
  "result": { "priority": "high" },
  "confidence": { "priority": 0.69 },
  "scores": { "priority": 2.81 }
}
  • 在带 "on": "score" 的规则中使用它,在等级之间采取行动——priority ≥ 3.5 会在权重偏向 critical 时触发。
  • 复合指标把它归一化到 0–1 后,用作评分项的值。
  • 用它来设置阈值和排序,而不是重建一个精确的数量:评分等级是类别,而不是尺子。

完整分布

在查询字符串中添加 include=probabilities:

curl -X POST "https://api.dcision.io/v1/decisions/lead-qualification?include=probabilities" \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "message": "We need pricing for 500 users and want to start next month.", "company_size": 500 } }'

响应会多出一个 probabilities 对象,位于 action_reason 和 metrics 之间:

{
  "result": { "purchase_intent": 0.9412, "priority": "high", "route": "sales" },
  "confidence": { "purchase_intent": 0.8824, "priority": 0.69, "route": 0.85 },
  "scores": { "priority": 2.81 },
  "composites": { "lead_score": 0.8414 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "probabilities": {
    "purchase_intent": { "yes": 0.9412, "no": 0.0588 },
    "priority": { "low": 0.02, "medium": 0.21, "high": 0.71, "critical": 0.06 },
    "route": { "sales": 0.88, "sdr": 0.09, "nurture": 0.02, "spam": 0, "other": 0.01 }
  }
}
问题类型分布
choice每个选项一项,按选项顺序,other 在最后
score每个标签一项,从低到高
probability{ "yes": p, "no": 1 − p }

所有值都四舍五入到 4 位小数。include 接受逗号分隔的列表;probabilities 是目前唯一能识别的值。分布不会改变调用的价格。

Playground 始终显示分布,当 storeOutput 开启时,执行记录会保存它们。

接近平局

当第二名的概率超过 20%,且落后第一名不到 15 个百分点时——例如 { "sales": 0.46, "sdr": 0.40 }——两个选项就构成接近平局。Playground 会标记它:

接近平局:排名靠前的选项非常接近。请让选项描述更有区分度(添加排除条件)。

接近平局通常意味着两个选项的描述存在重叠。把它们改写为互斥的标准(“有一定意向,但尚无预算或时间表”),然后再次测试——与上一次运行的比较会显示回答是否发生了变化。

在代码中使用分布

  • 第二选择。当行动为 escalate 时,向审核人员展示排名前两位的选项及其概率。
  • 你自己的度量。当另一个统计量——最高概率,或前两个选项之间的比值——更适合你的决策时,分布就是计算它所需的全部信息。
  • 校准阈值。在选择 minConfidence 之前,把过去运行的置信度——在执行记录中,或通过 GET /v1/executions——与实际发生的情况进行比较。

本页内容