概览与校准

读懂决策的“概览”标签页——运行次数、成功率、延迟、成本、行动、原因和按问题统计的数据——并根据每条校准建议及其背后的阈值采取行动。

概览是每个决策的第一个标签页。它针对你选择的时间段回答三个问题:它是否正常工作、花费多少、在哪里失败或犹豫——以及应该改什么?编辑器位于旁边的编辑器标签页中;新建的和复制的决策会直接在编辑器中打开。

选择时间段——7、30(默认)或 90 天——以及流量:全部流量、API 或 Playground。工作区中的每个人都可以查看概览,包括查看者。天数按 UTC 计算。

指标

指标含义
运行次数该时间段内的每次执行——无论成功与否。箭头将其与前一个同等长度的时间段进行比较(前一个时间段没有运行时显示新)。
成功率没有错误的运行所占的比例,以及错误数量。错误达到 2% 起变为红色。
延迟 p50 · p95成功运行的延迟中位数和第 95 百分位数。
每次运行的输入 token成功运行的平均输入 token——这是决定引擎成本和延迟的因素。
引擎成本(预估)各次运行预估引擎成本的总和,以及该时间段内运行过的版本数量。

其下方:

  • 每日运行次数——运行次数,以及以虚线表示的错误。
  • 最终动作——调用方收到的每种行动所占的比例(成功的运行和引擎错误时的 fallback)。
  • 原因——决策的哪个部分选定了行动:匹配了策略规则、回答为“other”、引擎拒绝回答(拒绝回答)、低于最低置信度、引擎出错 → fallback 或未匹配任何规则(continue)——以及每条规则匹配的次数(匹配的规则:#1 × 120)。
  • 错误——按错误码统计的失败运行;点击每个错误码会打开按错误筛选的执行记录。错误从不计费。
  • 流量——API 和 Playground 的运行。版本——每个已部署版本的运行次数,以及 Playground 运行所用的草稿。

问题

每个问题一张卡片,样本取自该时间段内最近 2,000 次成功运行。统计需要回答,因此只覆盖在决策的 storeOutput 开启时保存的运行。

指标显示内容从何时起高亮
回答每个选项或等级所占的比例。probability 问题以十分位显示 p(yes) 从 0 到 1 的分布。—
置信度一个由 20 根宽 0.05 的柱子组成、从 0 到 1 的直方图。有把握的回答位于右侧。—
平均置信度回答的平均置信度。低于 0.6
低于最低值低于问题 minConfidence 的回答所占的比例——除非先有策略匹配,否则这些运行会得到 fallback 行动。20%
接近平局(choice、score)排名前两位的选项或等级相差不到 0.15 的回答所占的比例,以及最常被混淆的那一对。15%
未决(probability)概率介于 0.35 和 0.65 之间的比例——既不是是,也不是否。30%
"other"(choice)没有任何选项合适的回答所占的比例。10%
平均 p(yes)(probability)yes 的平均概率。—

每张卡片上的调整会在编辑器中打开该问题。

目的地

对于带有目的地的决策,一个表格会按目的地统计该时间段内的数据:

列统计
已返回在响应中交回的回答——函数、固定回复,以及 LLM 和智能体的回答。
已投递成功的投递:webhook、API 请求、工作流和智能体移交。
失败失败的投递,以及失败的 LLM 或智能体调用。
待处理仍在等待尝试的投递。

影子模式

对于设置了 settings.shadow 的决策,影子模式卡片会在该时间段内抽样的生产运行(最多最近 2,000 次)上比较主引擎和影子引擎:

指标显示内容
一致率每个问题在两个引擎上都得到相同回答的影子运行所占比例。
影子运行比较了多少次运行,以及有多少次在影子引擎上失败——失败的运行不参与比较。
影子延迟 p50影子引擎的延迟中位数,可与主引擎的延迟 p50 比较。
按问题每个问题的一致率:90% 起为绿色,70% 起为琥珀色,低于则为红色。

两个回答一致的条件是:choice 问题选择了相同的选项、score 问题选择了相同的等级,或 probability 问题落在 0.5 的同一侧——都高于或都低于。任一引擎拒绝回答的问题不计入。在切换 settings.engine 之前,请查看你的策略所用问题的一致率——参见比较引擎与影子引擎。

校准建议

校准建议卡片把数字转化为建议。每条建议都会引用其背后的测量值,方便你核对,并通过在编辑器中修复链接到需要修改的字段。它们按严重程度排序——高、中、低、提示。

  • 该时间段内运行少于 20 次时,卡片只会说明样本太小——不会基于噪声给出建议。
  • 针对单个问题的建议还需要样本中该问题有 20 个回答。
  • 建议指向草稿——即你编辑的内容——当草稿无效时则指向已部署的版本。
建议何时显示严重程度怎么做
按问题统计已关闭决策没有保存输出。提示打开在执行记录中保存输出以获得针对每个问题的建议。
此时间段内仅有 12 次运行运行少于 20 次。提示在 Playground 中运行有代表性的输入,或发送真实流量。
5% 的运行失败(主要为 ENGINE_TIMEOUT,41 次)2% 或更多的运行失败——从 10% 起为高。中、高按错误码处理:调高 timeoutMs 或以 fallback 行动作答(ENGINE_TIMEOUT);分散突发流量或使用你自己的密钥(ENGINE_RATE_LIMITED);开启引擎错误 fallback(ENGINE_UNAVAILABLE);修正调用方发送的内容(INVALID_STATE);其他情况请在执行记录中查看错误。
34% 的运行以 fallback 动作(escalate)结束30% 或更多的运行因为 other 或低置信度而得到 fallback 行动。中在放宽阈值之前,先阅读针对每个问题的建议。
“route”在 14% 的运行中回答为“other”某个 choice 问题在 10% 或更多的回答中回答了 other——从 25% 起为高。中、高查看那些执行记录;为常见情况添加一个选项,或拓宽描述。
“route”在 22% 的运行中接近平局(主要是“sales”与“sdr”)某个 choice 或 score 问题排名前两位的回答在 15% 或更多的回答中相差不到 0.15——从 30% 起为高。中、高对比这两个描述并添加排除条件(“不适用于现有客户”);Jev 偏向第一个选项,所以把更具体的那个放在前面。对于等级,用具体的标准描述每一个等级。
“priority”的平均置信度为 0.52某个问题的平均置信度低于 0.6。中只问一个字面化的问题,拆分复合问题,用反引号指向重要的 state 字段,或在 context 中添加背景信息。
minConfidence 0.8 使“route”中 27% 的回答转向 escalate某个问题 20% 或更多的回答低于其 minConfidence。中卡片会模拟低于 0.5、0.6、0.7、0.8 和 0.9 的比例,并指出能把该比例保持在 10% 或以下的最高阈值。只有当接近阈值的回答通常是正确的时候才降低阈值;否则请先改进问题。
“route”的不确定回答可能触发拦截规则该问题没有 minConfidence,决策有一条 block 规则,并且有些回答低于 0.7。低设置 minConfidence,使不确定的回答得到 fallback 行动,而不是被拦截。
“purchase_intent”在 31% 的运行中未决(p 介于 0.35 和 0.65 之间)某个 probability 在 30% 或更多的回答中介于 0.35 和 0.65 之间。中添加算作是和算作否的标准。
“route”在 93% 的运行中回答为“sales”在至少 50 个回答中,某个 choice 或 score 问题的同一个回答占 90% 或更多。低要么流量是均一的,要么问题没有区分度:让其他选项更清晰,或删除该问题以节省 token。
“spam”在 412 次运行中从未被选中在至少 200 个回答中,某个选项或等级从未被选中(other 除外)。低检查它的描述,或者如果这种情况不会发生,就删除它。
规则 #3(IF route eq spam THEN block)在 1,250 次运行中从未匹配至少 100 次运行,且某条规则从未匹配。低可能某条更靠前的规则总是胜出,或者该值根本无法达到。
规则 #1(…)匹配了 97% 的运行至少 100 次运行,且某条规则匹配了其中 95% 或更多。低该规则可能比预期更宽泛——后面的规则永远没有机会。
每次决策平均 2,480 个输入 token每次运行平均超过 2,000 个输入 token。低缩短指令和 context、合并问题、发送更小的 state。
p95 延迟为 3.4 秒p95 延迟超过 3 秒。低延迟随输入 token 增加;在截止时间紧张时,在引擎出错时以 fallback 行动作答。
目的地“sales_crm”有 12% 的投递失败至少 10 次投递已投递或失败,且 5% 或更多失败——从 25% 起为高。中、高打开一次执行查看接收方的回应,修复目的地并重新发送。

逐步校准

从最靠前的建议开始。打开按该决策筛选的执行记录,阅读该数字背后的几次运行——它们的输入、回答和分布。

在编辑器中修改草稿:选项描述、指令、标准、阈值、规则。一次只改一处。

在 Playground 中重放这些输入——在执行记录中点击在 Playground 中重新运行此输入——并与之前的运行进行比较。

部署,并在接下来几天用 API 流量筛选器进行观察:概览包含该时间段内的每个版本,版本会显示运行在各版本之间如何分布。

minConfidence 等阈值应当取决于错误回答的代价,而不仅仅是 fallback 比例:退款路由应当比“发送一篇文章”设更高的门槛。参见处理低置信度和 other和编写好问题。

结合实际结果进行校准

概览衡量的是引擎有多确定、有多一致——而不是它是否正确。要把置信度与真实结果进行比较,请用 GET /v1/executions 导出运行记录,并与你系统中实际发生的情况关联起来。

本页内容