概览与校准
读懂决策的“概览”标签页——运行次数、成功率、延迟、成本、行动、原因和按问题统计的数据——并根据每条校准建议及其背后的阈值采取行动。
概览是每个决策的第一个标签页。它针对你选择的时间段回答三个问题:它是否正常工作、花费多少、在哪里失败或犹豫——以及应该改什么?编辑器位于旁边的编辑器标签页中;新建的和复制的决策会直接在编辑器中打开。
选择时间段——7、30(默认)或 90 天——以及流量:全部流量、API 或 Playground。工作区中的每个人都可以查看概览,包括查看者。天数按 UTC 计算。
指标
| 指标 | 含义 |
|---|---|
| 运行次数 | 该时间段内的每次执行——无论成功与否。箭头将其与前一个同等长度的时间段进行比较(前一个时间段没有运行时显示新)。 |
| 成功率 | 没有错误的运行所占的比例,以及错误数量。错误达到 2% 起变为红色。 |
| 延迟 p50 · p95 | 成功运行的延迟中位数和第 95 百分位数。 |
| 每次运行的输入 token | 成功运行的平均输入 token——这是决定引擎成本和延迟的因素。 |
| 引擎成本(预估) | 各次运行预估引擎成本的总和,以及该时间段内运行过的版本数量。 |
其下方:
- 每日运行次数——运行次数,以及以虚线表示的错误。
- 最终动作——调用方收到的每种行动所占的比例(成功的运行和引擎错误时的 fallback)。
- 原因——决策的哪个部分选定了行动:匹配了策略规则、回答为“other”、引擎拒绝回答(拒绝回答)、低于最低置信度、引擎出错 → fallback 或未匹配任何规则(continue)——以及每条规则匹配的次数(匹配的规则:#1 × 120)。
- 错误——按错误码统计的失败运行;点击每个错误码会打开按错误筛选的执行记录。错误从不计费。
- 流量——API 和 Playground 的运行。版本——每个已部署版本的运行次数,以及 Playground 运行所用的草稿。
问题
每个问题一张卡片,样本取自该时间段内最近 2,000 次成功运行。统计需要回答,因此只覆盖在决策的 storeOutput 开启时保存的运行。
| 指标 | 显示内容 | 从何时起高亮 |
|---|---|---|
| 回答 | 每个选项或等级所占的比例。probability 问题以十分位显示 p(yes) 从 0 到 1 的分布。 | — |
| 置信度 | 一个由 20 根宽 0.05 的柱子组成、从 0 到 1 的直方图。有把握的回答位于右侧。 | — |
| 平均置信度 | 回答的平均置信度。 | 低于 0.6 |
| 低于最低值 | 低于问题 minConfidence 的回答所占的比例——除非先有策略匹配,否则这些运行会得到 fallback 行动。 | 20% |
| 接近平局(choice、score) | 排名前两位的选项或等级相差不到 0.15 的回答所占的比例,以及最常被混淆的那一对。 | 15% |
| 未决(probability) | 概率介于 0.35 和 0.65 之间的比例——既不是是,也不是否。 | 30% |
| "other"(choice) | 没有任何选项合适的回答所占的比例。 | 10% |
| 平均 p(yes)(probability) | yes 的平均概率。 | — |
每张卡片上的调整会在编辑器中打开该问题。
目的地
对于带有目的地的决策,一个表格会按目的地统计该时间段内的数据:
| 列 | 统计 |
|---|---|
| 已返回 | 在响应中交回的回答——函数、固定回复,以及 LLM 和智能体的回答。 |
| 已投递 | 成功的投递:webhook、API 请求、工作流和智能体移交。 |
| 失败 | 失败的投递,以及失败的 LLM 或智能体调用。 |
| 待处理 | 仍在等待尝试的投递。 |
影子模式
对于设置了 settings.shadow 的决策,影子模式卡片会在该时间段内抽样的生产运行(最多最近 2,000 次)上比较主引擎和影子引擎:
| 指标 | 显示内容 |
|---|---|
| 一致率 | 每个问题在两个引擎上都得到相同回答的影子运行所占比例。 |
| 影子运行 | 比较了多少次运行,以及有多少次在影子引擎上失败——失败的运行不参与比较。 |
| 影子延迟 p50 | 影子引擎的延迟中位数,可与主引擎的延迟 p50 比较。 |
| 按问题 | 每个问题的一致率:90% 起为绿色,70% 起为琥珀色,低于则为红色。 |
两个回答一致的条件是:choice 问题选择了相同的选项、score 问题选择了相同的等级,或 probability 问题落在 0.5 的同一侧——都高于或都低于。任一引擎拒绝回答的问题不计入。在切换 settings.engine 之前,请查看你的策略所用问题的一致率——参见比较引擎与影子引擎。
校准建议
校准建议卡片把数字转化为建议。每条建议都会引用其背后的测量值,方便你核对,并通过在编辑器中修复链接到需要修改的字段。它们按严重程度排序——高、中、低、提示。
- 该时间段内运行少于 20 次时,卡片只会说明样本太小——不会基于噪声给出建议。
- 针对单个问题的建议还需要样本中该问题有 20 个回答。
- 建议指向草稿——即你编辑的内容——当草稿无效时则指向已部署的版本。
| 建议 | 何时显示 | 严重程度 | 怎么做 |
|---|---|---|---|
| 按问题统计已关闭 | 决策没有保存输出。 | 提示 | 打开在执行记录中保存输出以获得针对每个问题的建议。 |
| 此时间段内仅有 12 次运行 | 运行少于 20 次。 | 提示 | 在 Playground 中运行有代表性的输入,或发送真实流量。 |
| 5% 的运行失败(主要为 ENGINE_TIMEOUT,41 次) | 2% 或更多的运行失败——从 10% 起为高。 | 中、高 | 按错误码处理:调高 timeoutMs 或以 fallback 行动作答(ENGINE_TIMEOUT);分散突发流量或使用你自己的密钥(ENGINE_RATE_LIMITED);开启引擎错误 fallback(ENGINE_UNAVAILABLE);修正调用方发送的内容(INVALID_STATE);其他情况请在执行记录中查看错误。 |
| 34% 的运行以 fallback 动作(escalate)结束 | 30% 或更多的运行因为 other 或低置信度而得到 fallback 行动。 | 中 | 在放宽阈值之前,先阅读针对每个问题的建议。 |
| “route”在 14% 的运行中回答为“other” | 某个 choice 问题在 10% 或更多的回答中回答了 other——从 25% 起为高。 | 中、高 | 查看那些执行记录;为常见情况添加一个选项,或拓宽描述。 |
| “route”在 22% 的运行中接近平局(主要是“sales”与“sdr”) | 某个 choice 或 score 问题排名前两位的回答在 15% 或更多的回答中相差不到 0.15——从 30% 起为高。 | 中、高 | 对比这两个描述并添加排除条件(“不适用于现有客户”);Jev 偏向第一个选项,所以把更具体的那个放在前面。对于等级,用具体的标准描述每一个等级。 |
| “priority”的平均置信度为 0.52 | 某个问题的平均置信度低于 0.6。 | 中 | 只问一个字面化的问题,拆分复合问题,用反引号指向重要的 state 字段,或在 context 中添加背景信息。 |
| minConfidence 0.8 使“route”中 27% 的回答转向 escalate | 某个问题 20% 或更多的回答低于其 minConfidence。 | 中 | 卡片会模拟低于 0.5、0.6、0.7、0.8 和 0.9 的比例,并指出能把该比例保持在 10% 或以下的最高阈值。只有当接近阈值的回答通常是正确的时候才降低阈值;否则请先改进问题。 |
| “route”的不确定回答可能触发拦截规则 | 该问题没有 minConfidence,决策有一条 block 规则,并且有些回答低于 0.7。 | 低 | 设置 minConfidence,使不确定的回答得到 fallback 行动,而不是被拦截。 |
| “purchase_intent”在 31% 的运行中未决(p 介于 0.35 和 0.65 之间) | 某个 probability 在 30% 或更多的回答中介于 0.35 和 0.65 之间。 | 中 | 添加算作是和算作否的标准。 |
| “route”在 93% 的运行中回答为“sales” | 在至少 50 个回答中,某个 choice 或 score 问题的同一个回答占 90% 或更多。 | 低 | 要么流量是均一的,要么问题没有区分度:让其他选项更清晰,或删除该问题以节省 token。 |
| “spam”在 412 次运行中从未被选中 | 在至少 200 个回答中,某个选项或等级从未被选中(other 除外)。 | 低 | 检查它的描述,或者如果这种情况不会发生,就删除它。 |
| 规则 #3(IF route eq spam THEN block)在 1,250 次运行中从未匹配 | 至少 100 次运行,且某条规则从未匹配。 | 低 | 可能某条更靠前的规则总是胜出,或者该值根本无法达到。 |
| 规则 #1(…)匹配了 97% 的运行 | 至少 100 次运行,且某条规则匹配了其中 95% 或更多。 | 低 | 该规则可能比预期更宽泛——后面的规则永远没有机会。 |
| 每次决策平均 2,480 个输入 token | 每次运行平均超过 2,000 个输入 token。 | 低 | 缩短指令和 context、合并问题、发送更小的 state。 |
| p95 延迟为 3.4 秒 | p95 延迟超过 3 秒。 | 低 | 延迟随输入 token 增加;在截止时间紧张时,在引擎出错时以 fallback 行动作答。 |
| 目的地“sales_crm”有 12% 的投递失败 | 至少 10 次投递已投递或失败,且 5% 或更多失败——从 25% 起为高。 | 中、高 | 打开一次执行查看接收方的回应,修复目的地并重新发送。 |
逐步校准
从最靠前的建议开始。打开按该决策筛选的执行记录,阅读该数字背后的几次运行——它们的输入、回答和分布。
在编辑器中修改草稿:选项描述、指令、标准、阈值、规则。一次只改一处。
在 Playground 中重放这些输入——在执行记录中点击在 Playground 中重新运行此输入——并与之前的运行进行比较。
部署,并在接下来几天用 API 流量筛选器进行观察:概览包含该时间段内的每个版本,版本会显示运行在各版本之间如何分布。
minConfidence 等阈值应当取决于错误回答的代价,而不仅仅是 fallback 比例:退款路由应当比“发送一篇文章”设更高的门槛。参见处理低置信度和 other和编写好问题。
结合实际结果进行校准
概览衡量的是引擎有多确定、有多一致——而不是它是否正确。要把置信度与真实结果进行比较,请用 GET /v1/executions 导出运行记录,并与你系统中实际发生的情况关联起来。