策略与行动

如何编写和评估带 AND 条件的策略规则,以及每个响应的 action 和 action_reason 如何计算——策略、other 选项、低置信度、默认或引擎错误。

问题产生回答;策略把回答变成一个你的代码可以据此分支的行动。每个成功的响应都带有 action 以及解释它的 action_reason。

行动

行动约定含义
continue继续走自动化路径。
block停止:拒绝、丢弃或隔离该事件。
escalate交给人工或更高一级处理。
fallback走你的兜底路径——例如更大的模型或更多的检索。

行动是给你的代码看的标签。Dcision 自己从不拦截或改道任何东西:行动为 block 的决策仍然返回 200 OK,由你的应用执行该行动。

策略规则

一条规则包含一个条件、可选的 and 条件,以及当所有条件都成立时返回的行动:

{ "field": "route", "on": "output", "operator": "eq", "value": "spam", "action": "block" }
属性类型默认值说明
fieldstring—本决策中某个问题——或某个复合指标——的键。
onstringoutput比较什么:回答(output)、其置信度(confidence),或评分问题的加权级别(score)。
operatorstring—eq、neq、gt、gte、lt 或 lte。
valuestring 或 number—用于比较的值(字符串最多 255 个字符)。
andarray—最多 5 个额外条件——每个都有自己的 field、on、operator 和 value——也必须成立。
actionstring—continue、block、escalate 或 fallback。

一个决策最多有 50 条规则。value 和 operator 接受什么取决于字段和 on:

字段on比较对象value运算符
选择题output所选的选项(忽略大小写和首尾空格)一个选项,字符串形式eq、neq
评分题output最可能的等级(1 = 最低)等级编号或等级标签全部六个
评分题score加权级别,从 1 开始——可以落在等级之间,例如 2.4一个数字全部六个
概率题output是的概率0 到 1 之间的数字全部六个
任意问题confidence回答的置信度0 到 1 之间的数字全部六个
复合指标output复合指标的值一个数字全部六个

违反这些约束的规则会使 schema 无效(422 INVALID_SCHEMA),例如 "Choice outputs only support eq / neq."、"Unknown question \"intent\"."、"Only score questions have a weighted level." 或 "Compare a composite's value with a number."。

AND 条件

大多数模式都需要复合规则。规则的每个条件都必须成立,该规则才会匹配。来自模板的例子:

模板规则
ticket-triagecategory = bug_report AND bug_severity ≥ 4 → escalate
voice-bankingintent = approve_transfer AND intent 的置信度 < 0.9 → escalate
customer-service-routerintent = technical_issue AND complexity 的加权级别 ≥ 2.5 → escalate
resume-screeningsenior_ic < 0.35 AND eng_manager < 0.35 → block

用 JSON 表示,第一条规则如下:

{
  "field": "category",
  "on": "output",
  "operator": "eq",
  "value": "bug_report",
  "and": [{ "field": "bug_severity", "on": "output", "operator": "gte", "value": 4 }],
  "action": "escalate"
}

同一条规则的条件可以使用不同的问题和复合指标,也可以两次使用同一个问题——它的回答和它的置信度,就像 voice-banking 那样。要表达 OR,请编写两条行动相同的规则。

行动如何计算

引擎回答之后,Dcision 先计算复合指标,然后依次执行五个步骤,并在第一个适用的步骤处停止:

按顺序评估策略。第一条所有条件都成立的规则决定行动。 action_reason → { "type": "policy", "rule": 1 }——rule 是规则的从 0 开始的索引(应用中显示为“策略规则 #2”)。

引擎拒绝回答的问题。OpenAI Decisions 可能会拒绝回答某个问题;按问题顺序,第一个被拒绝的问题会触发决策的 fallback 行动。它在 result 中没有条目,针对它的策略永远不会匹配。 action_reason → { "type": "refusal", "question": "route" }

选择题回答了 other。按问题顺序,第一个回答为保留的 other 选项的选择题会触发决策的 fallback 行动(settings.fallbackAction,默认为 escalate)。 action_reason → { "type": "other_option", "question": "route" }

低置信度。按问题顺序,第一个置信度低于其 minConfidence 的问题会触发 fallback 行动。 action_reason → { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }

默认。以上都不适用:行动为 continue。 action_reason → { "type": "default" }

策略始终优先:像 route eq other → block 这样的规则优先于 fallback 行动。

在这些步骤之外还有第六种原因。当引擎失败且决策的 onEngineError 为 fallback 时,没有可供评估的回答:响应带有 fallback 行动和 { "type": "engine_error", "code": "ENGINE_TIMEOUT" }。

完整示例

线索资格评估模板有两条规则,默认的 fallback 行动为 escalate:

[
  { "field": "route", "on": "output", "operator": "eq", "value": "spam", "action": "block" },
  { "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }
]
resultconfidence.purchase_intentactionaction_reason
route: "sales"、purchase_intent: 0.94120.8824continue{ "type": "default" }
route: "spam"、purchase_intent: 0.030.94block{ "type": "policy", "rule": 0 }
route: "sdr"、purchase_intent: 0.450.1escalate{ "type": "policy", "rule": 1 }
route: "other"、purchase_intent: 0.150.7escalate{ "type": "other_option", "question": "route" }

概率的置信度是 |2p − 1|,因此规则 1 会升级每一条 purchase_intent 介于 0.2 和 0.8 之间的线索。

在编辑器中

策略卡片把每条规则读作 IF 条件 THEN 行动:

  1. 添加规则会在第一个问题上创建一条规则。
  2. 选择字段——先是问题,然后是复合指标——以及要比较的对象:回答、置信度,或者对于评分题,加权级别。然后选择运算符和值。
  3. + AND 添加一个条件,最多 5 个。每个条件都有自己的字段、比较对象、运算符和值。
  4. 在 THEN 之后选择行动。

规则从上到下评估。重命名或删除问题时,会更新或移除以该问题开头的规则;指向已不存在问题的 and 条件和复合指标项会被标记为需要修复的问题。

根据结果采取行动

switch (decision.action) {
  case "continue":
    return routeTo(decision.result.route);
  case "block":
    return discard(lead);
  case "escalate":
    return sendToHuman(lead, decision.action_reason);
  case "fallback":
    return askLargerModel(lead);
}

引擎错误:返回错误还是行动——由你选择

默认情况下,当引擎超时或失败时,API 返回 504 ENGINE_TIMEOUT 之类的错误,并且没有行动:在你的代码中决定错误意味着什么——通常与 escalate 走同一条路径。将 onEngineError 设为 fallback,即可改为得到带 fallback 行动和 action_reason.type = "engine_error" 的 200;这些回答不计费。参见决策设置和错误。

技巧

  • 把最具体的规则放在前面:第一个匹配的规则胜出。复合(and)规则通常放在它们所细化的简单规则之前。
  • 使用 on: "confidence" 配合 lt 来升级引擎不确定的回答——或者在问题上设置 minConfidence,改用 fallback 行动。两者结合可以实现按行动设置阈值。
  • 使用 on: "score" 在等级之间采取行动——frustration ≥ 3.5——而不必等到最高等级胜出。
  • 把 block 留给明确的输出(垃圾信息、滥用),让不确定的情况 escalate。
  • 策略是 schema 的一部分:只有在你部署新版本后,更改才会对 API 客户端生效。

本页内容