编写好问题

写出 Jev 能可靠回答的指令、选项和标准——字面化的措辞、把计算和日期留在代码中、减少间接、过滤 state、注意选项顺序,以及不要求生成文本。

Jev 快速、经过校准,并且擅长常识判断——而且它会按字面理解你的问题。大多数准确性问题源于问题的写法,而不是引擎。这些规则依据 TypeSafe 列出的已知 jev-1.13 局限及其结构化问题指南。其中许多局限在后续的 Jev 版本中应会有所缓解。

1. 准确说出你的意思

Jev 回答的是你写下的问题,而不是你想表达的问题。限定词、否定和隐含条件都会按字面理解。

不要写而要写
"Is this customer unhappy?""Does the customer say they are dissatisfied with the product or the service?"
"Is this a sales lead?""Does the sender ask about pricing, a demo, a quote or a start date for our product?"
  • 把边界情况写进标准:选项描述、score 等级以及 probability 的 yes / no。
  • 当你发现自己在解释一个错误回答时(“但我的意思是……”),那段解释正是指令中缺失的另一半。
  • 当解释不可避免时,把它拆开成两个字面化的问题,再用 and 条件或复合指标将它们组合起来。

2. 把计算、计数和日期留在代码中

Jev 不是计算器。请在你的应用中完成计算,并在 state 中发送结果——一个数字,或者更好的是一个有名称的区间。

{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }
  • 计数:不要问“有多少件商品是水果?”。为每件商品问一个是/否问题——或为每件商品运行一个决策——然后在代码中把回答加起来。
  • 日期:不要问两个日期哪个在前。用 choice 问题提取你需要的部分(月份、年份、一个明确的 not_stated 选项),然后在代码中比较和计算。
  • 名称胜过代码:“深红色”比 #8B0000 效果更好;请先在代码中转换。
  • 加权等级用于阈值:scores 告诉你回答是高于还是低于某个等级,而不是两个等级之间的确切数值。

3. 减少间接

双重否定、“属性的属性”以及多跳推理都会损失准确性。请直接提问,并用反引号按名称指向问题所涉及的 state 部分——点路径和索引路径都可以:

{
  "key": "refund_requested",
  "type": "probability",
  "instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}

4. 只发送问题需要的内容

state 中无关的细节是干扰项:当 state 中充斥着决策不需要的内容时,准确性会下降,而且每个多余的 token 都会计入限制——state 加最长问题约 32,000 个 token,state 加所有问题约 64,000 个 token。

  • 先在代码中过滤。schema 未声明的字段仍会转发给引擎,所以不要“以防万一”发送整条记录。
  • 传递相关的片段:对话的最后几条消息、通过相关性检查的检索片段、问题所涉及的那一行的字段。
  • 对话记录和批量数据使用列表 state,其他情况使用带描述性键名的对象。

5. 检查选项顺序

Jev 可能会偏向 choice 问题中排在最前的选项。让选项相互排斥,然后在 Playground 中调整它们的顺序,并检查回答是否保持不变。无论其他选项的顺序如何,保留的 other 选项始终排在最后。

6. 不要让它生成内容

Jev 返回的是选择、等级和概率——从不返回自由文本,Dcision 也是如此。对于提取任务,请在代码中找出候选项(正则表达式、解析器或 LLM),再让一个 choice 选出正确的那个。选项值是 snake_case 键,因此请把每个候选项放在其描述中:

{
  "key": "customer_name",
  "type": "choice",
  "instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
  "options": [
    { "value": "candidate_1", "description": "Beaver Logistics" },
    { "value": "candidate_2", "description": "Beaver Dam Logistics" },
    { "value": "candidate_3", "description": "Dam Logistics" }
  ]
}

7. 让指令与标准保持一致

标准是对指令的补充;它们不应与指令相矛盾。yes 标准描述的却是否的情况的 probability 问题,表现会更差。请写出普通读者一眼就能理解的内容。

8. 把 state 当作数据

state 是内容,不是指令——而内容可能被写来操纵回答:注入的指令、误导性的表述、为自身分类辩护的文本。请在标准中明确什么才算数,并在部署前通过 Playground 运行对抗性样本。

9. 在有帮助时使用结构

指令、选项描述、score 等级和 probability 标准既接受文本,也接受 JSON。当问题有多个部分或需要辅助数据时,结构会有所帮助——键名为每个部分加上标签。下面这个 choice 描述了每个选项涵盖和不涵盖的内容:

{
  "key": "department",
  "type": "choice",
  "instructions": {
    "question": "Which team should handle this message?",
    "focus": "Classify the customer's primary request, not every topic mentioned."
  },
  "options": [
    {
      "value": "billing",
      "description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
    },
    {
      "value": "orders",
      "description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
    },
    {
      "value": "account",
      "description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
    }
  ]
}

score 等级也可以是一份评分细则,只要它有 label——result 返回的就是这个 label:

{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }

规则和限制参见结构化指令和标准。

10. 用你服务的语言进行测试

英语是 Jev 的主要训练语言,也是目前准确性最高的语言。其他语言也可以使用,但请用你自己的内容进行测试,并在路由时关注置信度。

检查清单

  • 每个问题只做一个判断,表述为关于 state 的字面化问题。
  • 边界情况和排除条件写在选项描述、等级或标准中。
  • 数字、计数和日期在代码中计算,并作为字段或区间发送。
  • 在能消除歧义时,在指令中用反引号写出 state 字段名。
  • 只发送问题需要的 state。
  • 选项相互排斥,并且调整顺序后回答保持稳定。
  • 在 Playground 中运行对抗性和边界情况样本。
  • 在错误回答代价高昂的地方设置 minConfidence 或置信度规则——参见置信度把关路由。

本页内容