问题

选择、评分和概率问题——结构化指令和标准、API 对每种问题返回的内容、加权级别、保留的 other 选项以及最低置信度。

问题是决策针对状态所回答的内容。一个决策有 1 到 64 个问题,全部在一次引擎调用中回答:Jev 针对同一个状态,独立且并行地评估每个问题。每个问题都会成为响应中 result 和 confidence 对象里的一个键,顺序与你定义的顺序一致。

类型适用场景result[key]示例
choice选择一个选项:团队、类别、工具你的某个选项值(字符串)"sales"
score把状态放到一个有序量表上最可能等级的标签(字符串)"high"
probability是/否问题是的概率,从 0 到 10.9412

通用属性

属性类型必填说明
keystring是snake_case,在决策内唯一。会成为响应中的 JSON 键。
typestring是choice、score 或 probability。
instructionsstring、object 或 array是引擎要回答的问题:文本,或结构化 JSON。最多 8,000 个字符(JSON 按序列化后的长度计算)。
minConfidencenumber否0 到 1。低于该值时,决策会采用 fallback 行动——参见下文。

选择题

{
  "key": "route",
  "type": "choice",
  "instructions": "Which team should receive this lead?",
  "options": [
    { "value": "sales", "description": "high intent, ready to talk to sales" },
    { "value": "sdr", "description": "some intent, needs qualification" },
    { "value": "nurture", "description": "early stage, send content" }
  ]
}
  • options 需要至少 2 个、最多 254 个选项,外加 other——总共 255 个,这是 Jev 的上限。
  • value 遵循键规则,并且在问题内必须唯一。
  • description 告诉引擎该选项何时适用:文本或 JSON,最多 2,000 个字符。它是可选的——当值本身已经说明一切时("yes_refund"),可以省略它或设为 null。描述决定准确性:对比相似的选项,并加入排除条件,例如“不适用于现有客户”。
  • 顺序很重要。Jev 可能倾向于排在第一位的选项。在 Playground 中把重要问题的选项重新排序进行测试,检查回答是否保持不变。

保留的 other 选项

每个选择题都有一个 other 选项。Dcision 会自动把它添加为最后一个选项,描述为 none of the options above。它不能被移除,但你可以把它包含在 options 中,自行描述它——无论你把它放在哪里,它都会被移到末尾:

{ "value": "other", "description": "not about our product, or a language we don't support" }

没有 other 时,引擎被迫选择错得最少的选项。有了它,“以上都不是”就成为一个明确的回答:当选择题回答 other 且之前没有策略匹配时,决策会采用其 fallback 行动,并带有 action_reason.type = "other_option"。参见策略与行动。

API 返回的内容

  • result.route——所选的选项,例如 "sales"(或 "other")。
  • confidence.route——所选选项比所有选项平均分配高出多少,从 0 到 1——参见置信度。
  • 使用 ?include=probabilities 时,probabilities.route 包含每个选项的概率,包括 other。

选择题回答上的策略只能使用 eq 和 neq。比较时忽略大小写和首尾空格。

评分题

{
  "key": "priority",
  "type": "score",
  "instructions": "How urgent is it to answer this lead?",
  "scale": ["low", "medium", "high", "critical"]
}
  • scale 列出 2 到 10 个从低到高的等级。等级可以是一个标签(最多 2,000 个字符),也可以是一个带 label 的结构化评分细则。标签必须唯一。
  • result.priority 是最可能的等级的标签——不是平均值——confidence.priority 表示分布围绕它的集中程度。
  • scores.priority 是加权级别:各等级按概率加权的平均值,从 1 开始计数。在上面的量表中,2.81 位于 medium(2)和 high(3)之间,更接近 high。用它在等级之间采取行动。
  • 使用 ?include=probabilities 时,probabilities.priority 按量表顺序包含每个标签的概率。

策略比较的是等级,从 1 开始编号:在上面的量表中,low 是 1,critical 是 4。

  • 针对回答("on": "output"),规则使用等级编号("value": 3)或标签("value": "high"),可以使用任意运算符:{ "field": "priority", "operator": "gte", "value": "high", "action": "escalate" } 匹配 high 和 critical。不在量表中的标签永远不会匹配。
  • 针对加权级别("on": "score"),规则将 scores.priority 与一个数字比较:{ "field": "priority", "on": "score", "operator": "gte", "value": 3.5, "action": "escalate" } 会在权重偏向 critical 时触发,即使 high 是最可能的等级。

概率题

{
  "key": "purchase_intent",
  "type": "probability",
  "instructions": "Does this lead have real intent to buy in the next 30 days?",
  "criteria": {
    "yes": "asks for pricing, a demo, a quote or a start date",
    "no": "just browsing, student, vendor or spam"
  }
}
  • criteria.yes 和 criteria.no 是可选的——文本或 JSON,每个最多 2,000 个字符——说明什么算“是”、什么算“否”。让它们与指令保持一致:yes 应描述“是”的情况。
  • result.purchase_intent 是 “是”的概率,介于 0 和 1 之间,四舍五入到 4 位小数。
  • confidence.purchase_intent 是 |2p − 1|:与抛硬币的距离。0.03(有把握的否)和 0.97(有把握的是)的置信度都是 0.94;0.5 的置信度是 0。
  • 使用 ?include=probabilities 时,probabilities.purchase_intent 为 { "yes": p, "no": 1 − p }。

策略将概率与一个数字比较,例如 { "field": "purchase_intent", "operator": "gte", "value": 0.8, "action": "continue" }。

结构化指令和标准

Jev 原生理解结构。凡是问题中有文本的地方——instructions、选项的 description、评分等级、criteria.yes 和 criteria.no——你都可以改为发送一个 JSON 对象或数组。当一个问题包含多个部分,或需要分类体系、schema 或数据库行等支撑数据时,结构会有所帮助:键为每个部分加上标签。

{
  "key": "duplicate_candidate",
  "type": "probability",
  "instructions": {
    "potential_duplicate": { "name": "John Smith", "location": "Oakland, California", "last_employer": "Google" },
    "question": "Is the resume in `resume` for the same person as `potential_duplicate`?"
  }
}
  • 用反引号指向数据。把状态字段和指令中的键放在反引号之间——`resume`、`ticket.messages[0].text`——准确告诉引擎要看什么。
  • 给选项一份评分细则。像 { "what": "Charges, invoices, refunds", "not_for": "Order tracking", "examples": ["I was charged twice"] } 这样的选项描述可以让相邻选项之间的边界更清晰。
  • 限制与文本相同,按序列化后的 JSON 计算:指令 8,000 个字符,选项描述、评分等级或标准 2,000 个字符。对象和数组不能为空。
  • 在编辑器中,把 JSON 对象或数组粘贴到字段中:它会以结构形式存储,并标记为结构化。任何不是有效 JSON 的内容都保持为文本。

结构化评分等级

评分等级可以是一个带 label 的对象——result 返回的以及策略比较的是标签;引擎读取的是整个对象:

{
  "key": "bug_severity",
  "type": "score",
  "instructions": "If this describes a bug, how severe is it for the customer?",
  "scale": ["cosmetic", "minor", "major", { "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }]
}

标签为 1 到 255 个字符;整个等级序列化后最多 2,000 个字符。普通等级和结构化等级可以在同一个量表中混用。编辑器以普通标签的形式添加等级,并用花括号图标显示结构化等级——Support Ticket Triage 模板一开始就带有一个。

最低置信度

任何问题都可以设置介于 0 和 1 之间的 minConfidence。当回答的置信度低于它且之前没有策略匹配时,决策会采用其 fallback 行动,并带有 action_reason.type = "low_confidence":

{ "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }

在编辑器中,最低置信度开关从 80% 开始。没有它时,低置信度的回答仍然是 continue。

对于概率问题,置信度是 |2p − 1|,因此最低置信度会标记 0.5 附近的一段概率区间:0.8 标记 0.1 到 0.9 之间的每个 p,0.6 标记 0.2 到 0.8 之间的每个 p。编辑器会在滑块旁显示该区间。参见置信度与概率和处理低置信度和 other。

技巧

  • 每个问题只问一件事。把“这是紧急的垃圾信息吗?”拆成一个概率问题(spam)和一个评分问题(urgency)——两种方式都只花一次调用。
  • 把指令写成关于状态的字面问题:“哪个团队应该接收这条线索?”。
  • 是/否问题优先使用概率——数字比两个选项的选择题更容易设定阈值。
  • 有序等级优先使用评分——这样策略就可以在等级上使用 gte/lte,并在加权级别上设置阈值。
  • 把选项描述写成标准,而不是标签,并让相邻选项互斥。如果 Playground 标记了接近的平局,说明描述存在重叠。
  • 把业务事实放在 context 中,而不是写进每条指令。
  • 把数学计算、计数和日期留在代码中,并在状态中发送结果。
  • 顺序很重要:当多个问题回答 other 或低于其最低置信度时,action_reason 中报告的是按问题顺序排在第一位的那个。

更多内容参见编写好的问题。

本页内容