置信度与概率
在统一的 0–1 量表上,置信度对每种问题类型意味着什么,它如何影响 minConfidence、加权级别、完整的概率分布以及接近平局。
引擎不只是选出一个回答:它会为每个问题返回一个概率分布。Dcision 把它转换为每个问题的置信度——始终如此——并且可以按需返回完整分布。
校准的概率
Jev 使用 RLCD——reinforcement learning for calibrated decisions(面向校准决策的强化学习)——进行训练,使其返回的概率名副其实。在一个校准良好的模型的大量预测中,被给出 0.2 概率的结果大约有 20% 会发生,被给出 0.8 的大约有 80% 会发生。这是一组回答的性质,而不是对任何单个回答的保证——而这恰恰是阈值、升级和审计能够起作用的原因。
置信度
confidence 为每个问题提供一个 0 到 1 之间的数字,键与 result 相同。它遵循 TypeSafe 的定义,因此所有问题类型共享同一个量表:当所有概率都集中在一个回答上时为 1,当概率均匀分布或回答相当于抛硬币时为 0。
| 问题类型 | 置信度是…… | 公式 |
|---|---|---|
choice | 所选选项比所有 n 个选项(包括 other)平均分配高出多少 | (p_max − 1/n) / (1 − 1/n) |
score | 分布围绕最可能等级的集中程度——相邻等级上的概率对它的降低少于远处等级上的概率 | 1 − spread / spread of an even distribution,最低为 0 |
probability | 与抛硬币的距离 | |2p − 1| |
- 对于选择题和评分题,Dcision 使用引擎报告的置信度,它是用这些公式计算的;只有当引擎省略它时,Dcision 才自己应用这些公式。
- 示例:一个有五个选项且
p_max = 0.88的选择题,置信度为0.85。概率0.9412的置信度为0.8824;0.03为0.94;0.5为0。 - 对于评分题,
spread是以等级为单位、按概率加权的到最可能等级的距离。有三个等级时,(0, 0.5, 0.5)——在相邻等级之间摇摆——的置信度为 0.25,而(0.5, 0, 0.5)——在两端之间摇摆——的置信度为 0。
在策略中使用置信度("on": "confidence"),或配合问题的 minConfidence,把不确定的回答路由给人工——参见置信度门控路由。
概率问题上的最低置信度
由于概率的置信度是 |2p − 1|,对它设置的阈值会标记 0.5 附近的一段概率区间:当 p 严格介于 (1 − c) / 2 和 (1 + c) / 2 之间时,回答低于最低置信度 c。
minConfidence | 标记的概率区间 |
|---|---|
| 0.5 | 0.25 到 0.75 |
| 0.6 | 0.2 到 0.8 |
| 0.8 | 0.1 到 0.9 |
| 0.9 | 0.05 到 0.95 |
带 "on": "confidence" 的规则也是如此:purchase_intent 的置信度 lt 0.6 会匹配 0.2 到 0.8 之间的每个 p。编辑器会在概率问题的最低置信度滑块旁显示该区间。
从 v0.1 升级而来?
在 v0.2(2026 年 10 月 5 日)之前,概率的置信度是 max(p, 1 − p)。对于同一个回答,新值更低——p = 0.8 以前的置信度是 0.8,现在是 0.6。要保持旧阈值 t 的行为,请使用 2t − 1:旧的 0.8 变为 0.6。选择题和评分题仍使用引擎自己的置信度;当提供商省略它时,Dcision 现在应用上面的公式,而不是最高概率。请在 Playground 中检查概率问题上的 minConfidence 和置信度规则,然后部署新版本。
加权级别
对于每个评分题,响应中还有 scores:按概率加权的等级,从 1 开始计数。对于分布 low 0.02 · medium 0.21 · high 0.71 · critical 0.06,最可能的等级是 high(3),加权级别为 1 × 0.02 + 2 × 0.21 + 3 × 0.71 + 4 × 0.06 = 2.81。
{
"result": { "priority": "high" },
"confidence": { "priority": 0.69 },
"scores": { "priority": 2.81 }
}- 在带
"on": "score"的规则中使用它,在等级之间采取行动——priority ≥ 3.5会在权重偏向critical时触发。 - 复合指标把它归一化到 0–1 后,用作评分项的值。
- 用它来设置阈值和排序,而不是重建一个精确的数量:评分等级是类别,而不是尺子。
完整分布
在查询字符串中添加 include=probabilities:
curl -X POST "https://api.dcision.io/v1/decisions/lead-qualification?include=probabilities" \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": { "message": "We need pricing for 500 users and want to start next month.", "company_size": 500 } }'响应会多出一个 probabilities 对象,位于 action_reason 和 metrics 之间:
{
"result": { "purchase_intent": 0.9412, "priority": "high", "route": "sales" },
"confidence": { "purchase_intent": 0.8824, "priority": 0.69, "route": 0.85 },
"scores": { "priority": 2.81 },
"composites": { "lead_score": 0.8414 },
"action": "continue",
"action_reason": { "type": "default" },
"probabilities": {
"purchase_intent": { "yes": 0.9412, "no": 0.0588 },
"priority": { "low": 0.02, "medium": 0.21, "high": 0.71, "critical": 0.06 },
"route": { "sales": 0.88, "sdr": 0.09, "nurture": 0.02, "spam": 0, "other": 0.01 }
}
}| 问题类型 | 分布 |
|---|---|
choice | 每个选项一项,按选项顺序,other 在最后 |
score | 每个标签一项,从低到高 |
probability | { "yes": p, "no": 1 − p } |
所有值都四舍五入到 4 位小数。include 接受逗号分隔的列表;probabilities 是目前唯一能识别的值。分布不会改变调用的价格。
Playground 始终显示分布,当 storeOutput 开启时,执行记录会保存它们。
接近平局
当第二名的概率超过 20%,且落后第一名不到 15 个百分点时——例如 { "sales": 0.46, "sdr": 0.40 }——两个选项就构成接近平局。Playground 会标记它:
接近平局:排名靠前的选项非常接近。请让选项描述更有区分度(添加排除条件)。
接近平局通常意味着两个选项的描述存在重叠。把它们改写为互斥的标准(“有一定意向,但尚无预算或时间表”),然后再次测试——与上一次运行的比较会显示回答是否发生了变化。
在代码中使用分布
- 第二选择。当行动为
escalate时,向审核人员展示排名前两位的选项及其概率。 - 你自己的度量。当另一个统计量——最高概率,或前两个选项之间的比值——更适合你的决策时,分布就是计算它所需的全部信息。
- 校准阈值。在选择
minConfidence之前,把过去运行的置信度——在执行记录中,或通过GET /v1/executions——与实际发生的情况进行比较。