垃圾信息检测

使用垃圾信息检测模板,把自由文本分类为 allow、review 或 block,并估算其垃圾信息概率——一个文本状态的决策。

目标:在用户生成的文本——评论、消息、注册简介——发布之前进行筛查:放行正常内容,拦截明显的垃圾信息,把不明确的内容交给审核员。

创建决策

模板 → 垃圾信息检测 → 创建决策:

部分内容
State文本——请求的 state 就是消息本身
spam_probabilityprobability——这条消息是垃圾信息、钓鱼信息还是不请自来的推广?
actionchoice——allow(正常消息)、review(不明确,应由审核员检查)、block(明显的垃圾信息、诈骗或滥用)、other
策略1. action = block → block

调用

使用文本状态时,state 是一个字符串:

curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: comment-77310" \
  -d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'
200 OK
{
  "decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
  "execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
  "schema": "spam-detection",
  "version": 1,
  "result": { "spam_probability": 0.9731, "action": "block" },
  "confidence": { "spam_probability": 0.9462, "action": 0.9067 },
  "action": "block",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}

两个不同的 action

result.action 是模板中名为 action 的问题的回答(allow、review 或 block)。顶层的 action 是策略决定的行动。这里两者都是 block,因为规则 0 把前者映射到了后者。

空字符串或 JSON 对象会在引擎运行之前被拒绝:422 INVALID_STATE——"Field state must be a non-empty string."

让 review 可执行

默认情况下,review 回答不匹配任何策略,返回 continue。添加一条规则,让审核由顶层行动驱动,再加上一个基于概率的安全网:

[
  { "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
  { "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
  { "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]

这样你的代码只需要关注顶层行动:

const decision = await response.json();
switch (decision.action) {
  case "block":
    return comments.reject(comment, { execution_id: decision.execution_id });
  case "escalate":
    return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
  default:
    return comments.publish(comment);
}

调优

  • 在决策的 context 中说明你的政策:你的平台允许什么(自我推广?链接?其他语言?)。
  • 拆分判断。“这是垃圾信息吗?”隐含了好几个问题。分别询问各个信号——消息是否索要密码、承诺意外的奖励、催促读者立即行动、链接到与发件人不符的域名?——然后在复合指标或规则中把它们组合起来。参见编写好的问题。
  • 预料到对抗性文本。垃圾信息就是写得看起来正常:部署之前在 Playground 中测试边界情况,并在选项描述中写得明确。
  • 描述 other——例如“不是垃圾信息,但离题或使用了不支持的语言”——这样离题内容会走 fallback 行动,而不是被强行归入 allow。
  • 当消息可能包含个人数据时,不要把消息写入日志:关闭 storeInput。
  • 谨慎地批量处理:每条消息就是一个决策和一个请求。对大规模回填进行排队,以保持在你的速率限制之内。

本页内容