编写好问题
写出 Jev 能可靠回答的指令、选项和标准——字面化的措辞、把计算和日期留在代码中、减少间接、过滤 state、注意选项顺序,以及不要求生成文本。
Jev 快速、经过校准,并且擅长常识判断——而且它会按字面理解你的问题。大多数准确性问题源于问题的写法,而不是引擎。这些规则依据 TypeSafe 列出的已知 jev-1.13 局限及其结构化问题指南。其中许多局限在后续的 Jev 版本中应会有所缓解。
1. 准确说出你的意思
Jev 回答的是你写下的问题,而不是你想表达的问题。限定词、否定和隐含条件都会按字面理解。
| 不要写 | 而要写 |
|---|---|
| "Is this customer unhappy?" | "Does the customer say they are dissatisfied with the product or the service?" |
| "Is this a sales lead?" | "Does the sender ask about pricing, a demo, a quote or a start date for our product?" |
- 把边界情况写进标准:选项描述、score 等级以及 probability 的
yes/no。 - 当你发现自己在解释一个错误回答时(“但我的意思是……”),那段解释正是指令中缺失的另一半。
- 当解释不可避免时,把它拆开成两个字面化的问题,再用
and条件或复合指标将它们组合起来。
2. 把计算、计数和日期留在代码中
Jev 不是计算器。请在你的应用中完成计算,并在 state 中发送结果——一个数字,或者更好的是一个有名称的区间。
{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }- 计数:不要问“有多少件商品是水果?”。为每件商品问一个是/否问题——或为每件商品运行一个决策——然后在代码中把回答加起来。
- 日期:不要问两个日期哪个在前。用 choice 问题提取你需要的部分(月份、年份、一个明确的
not_stated选项),然后在代码中比较和计算。 - 名称胜过代码:“深红色”比
#8B0000效果更好;请先在代码中转换。 - 加权等级用于阈值:
scores告诉你回答是高于还是低于某个等级,而不是两个等级之间的确切数值。
3. 减少间接
双重否定、“属性的属性”以及多跳推理都会损失准确性。请直接提问,并用反引号按名称指向问题所涉及的 state 部分——点路径和索引路径都可以:
{
"key": "refund_requested",
"type": "probability",
"instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}4. 只发送问题需要的内容
state 中无关的细节是干扰项:当 state 中充斥着决策不需要的内容时,准确性会下降,而且每个多余的 token 都会计入限制——state 加最长问题约 32,000 个 token,state 加所有问题约 64,000 个 token。
- 先在代码中过滤。schema 未声明的字段仍会转发给引擎,所以不要“以防万一”发送整条记录。
- 传递相关的片段:对话的最后几条消息、通过相关性检查的检索片段、问题所涉及的那一行的字段。
- 对话记录和批量数据使用列表 state,其他情况使用带描述性键名的对象。
5. 检查选项顺序
Jev 可能会偏向 choice 问题中排在最前的选项。让选项相互排斥,然后在 Playground 中调整它们的顺序,并检查回答是否保持不变。无论其他选项的顺序如何,保留的 other 选项始终排在最后。
6. 不要让它生成内容
Jev 返回的是选择、等级和概率——从不返回自由文本,Dcision 也是如此。对于提取任务,请在代码中找出候选项(正则表达式、解析器或 LLM),再让一个 choice 选出正确的那个。选项值是 snake_case 键,因此请把每个候选项放在其描述中:
{
"key": "customer_name",
"type": "choice",
"instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
"options": [
{ "value": "candidate_1", "description": "Beaver Logistics" },
{ "value": "candidate_2", "description": "Beaver Dam Logistics" },
{ "value": "candidate_3", "description": "Dam Logistics" }
]
}7. 让指令与标准保持一致
标准是对指令的补充;它们不应与指令相矛盾。yes 标准描述的却是否的情况的 probability 问题,表现会更差。请写出普通读者一眼就能理解的内容。
8. 把 state 当作数据
state 是内容,不是指令——而内容可能被写来操纵回答:注入的指令、误导性的表述、为自身分类辩护的文本。请在标准中明确什么才算数,并在部署前通过 Playground 运行对抗性样本。
9. 在有帮助时使用结构
指令、选项描述、score 等级和 probability 标准既接受文本,也接受 JSON。当问题有多个部分或需要辅助数据时,结构会有所帮助——键名为每个部分加上标签。下面这个 choice 描述了每个选项涵盖和不涵盖的内容:
{
"key": "department",
"type": "choice",
"instructions": {
"question": "Which team should handle this message?",
"focus": "Classify the customer's primary request, not every topic mentioned."
},
"options": [
{
"value": "billing",
"description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
},
{
"value": "orders",
"description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
},
{
"value": "account",
"description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
}
]
}score 等级也可以是一份评分细则,只要它有 label——result 返回的就是这个 label:
{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }规则和限制参见结构化指令和标准。
10. 用你服务的语言进行测试
英语是 Jev 的主要训练语言,也是目前准确性最高的语言。其他语言也可以使用,但请用你自己的内容进行测试,并在路由时关注置信度。
检查清单
- 每个问题只做一个判断,表述为关于 state 的字面化问题。
- 边界情况和排除条件写在选项描述、等级或标准中。
- 数字、计数和日期在代码中计算,并作为字段或区间发送。
- 在能消除歧义时,在指令中用反引号写出 state 字段名。
- 只发送问题需要的 state。
- 选项相互排斥,并且调整顺序后回答保持稳定。
- 在 Playground 中运行对抗性和边界情况样本。
- 在错误回答代价高昂的地方设置
minConfidence或置信度规则——参见置信度把关路由。