垃圾信息检测
使用垃圾信息检测模板,把自由文本分类为 allow、review 或 block,并估算其垃圾信息概率——一个文本状态的决策。
目标:在用户生成的文本——评论、消息、注册简介——发布之前进行筛查:放行正常内容,拦截明显的垃圾信息,把不明确的内容交给审核员。
创建决策
模板 → 垃圾信息检测 → 创建决策:
| 部分 | 内容 |
|---|---|
| State | 文本——请求的 state 就是消息本身 |
spam_probability | probability——这条消息是垃圾信息、钓鱼信息还是不请自来的推广? |
action | choice——allow(正常消息)、review(不明确,应由审核员检查)、block(明显的垃圾信息、诈骗或滥用)、other |
| 策略 | 1. action = block → block |
调用
使用文本状态时,state 是一个字符串:
curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: comment-77310" \
-d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'{
"decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
"execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
"schema": "spam-detection",
"version": 1,
"result": { "spam_probability": 0.9731, "action": "block" },
"confidence": { "spam_probability": 0.9462, "action": 0.9067 },
"action": "block",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}两个不同的 action
result.action 是模板中名为 action 的问题的回答(allow、review 或 block)。顶层的 action 是策略决定的行动。这里两者都是 block,因为规则 0 把前者映射到了后者。
空字符串或 JSON 对象会在引擎运行之前被拒绝:422 INVALID_STATE——"Field state must be a non-empty string."
让 review 可执行
默认情况下,review 回答不匹配任何策略,返回 continue。添加一条规则,让审核由顶层行动驱动,再加上一个基于概率的安全网:
[
{ "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
{ "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
{ "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]这样你的代码只需要关注顶层行动:
const decision = await response.json();
switch (decision.action) {
case "block":
return comments.reject(comment, { execution_id: decision.execution_id });
case "escalate":
return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
default:
return comments.publish(comment);
}调优
- 在决策的
context中说明你的政策:你的平台允许什么(自我推广?链接?其他语言?)。 - 拆分判断。“这是垃圾信息吗?”隐含了好几个问题。分别询问各个信号——消息是否索要密码、承诺意外的奖励、催促读者立即行动、链接到与发件人不符的域名?——然后在复合指标或规则中把它们组合起来。参见编写好的问题。
- 预料到对抗性文本。垃圾信息就是写得看起来正常:部署之前在 Playground 中测试边界情况,并在选项描述中写得明确。
- 描述
other——例如“不是垃圾信息,但离题或使用了不支持的语言”——这样离题内容会走 fallback 行动,而不是被强行归入allow。 - 当消息可能包含个人数据时,不要把消息写入日志:关闭
storeInput。 - 谨慎地批量处理:每条消息就是一个决策和一个请求。对大规模回填进行排队,以保持在你的速率限制之内。