图片审核
使用“图片审核”模板,在用户上传的照片发布之前检查不当内容、垃圾信息以及照片是否与描述相符,并拦截或升级。
目标:用户会为他们的商品信息上传照片。Dcision 在每张照片发布之前先查看它:不安全的图片和垃圾信息会被拦截,无关的照片以及与描述不符的照片会交给审核员。
创建决策
模板 → 图片审核(图片输入) → 创建决策:
| 部分 | 内容 |
|---|---|
| 状态 | photo(图片,必填)、caption(字符串) |
unsafe | probability——裸露、暴力、武器、毒品或仇恨符号;最低置信度 0.6 |
content | choice——product、spam、unrelated、other |
matches_caption | probability——照片展示的正是描述所说的内容 |
| 策略 | unsafe ≥ 0.5 → block;content = spam → block;content = unrelated → escalate;matches_caption < 0.3 → escalate;fallback 行动为 escalate |
photo 是一个图片字段:支持 PNG、JPEG、GIF 或 WebP。在 OpenAI Decisions 上运行此决策,引擎就能直接看到图片本身;在 Jev 或 Laya 上,引擎读取的是由 OpenAI 撰写的图片描述。
调用
curl -X POST https://api.dcision.io/v1/decisions/image-moderation \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"photo": {"url":"https://example.com/listing-photo.jpg","filename":"listing-photo.jpg"},
"caption": "Used road bike, size M"
}
}'{
"schema": "image-moderation",
"result": { "unsafe": 0.02, "content": "product", "matches_caption": 0.93 },
"action": "continue",
"action_reason": { "type": "default" },
"metrics": { "engine": "openai", "input_files": 1 }
}据此行动
const decision = await dcisionDecide("image-moderation", { photo: fileFromBytes(upload, upload.name), caption });
if (decision.action === "continue") return publish(listing);
if (decision.action === "block") return reject(listing, decision.action_reason);
return queueForModeration(listing, decision);调优
- 在
context中描述你的平台:在那里一张正常的照片是什么样子。 - 为
content添加选项,覆盖你不允许的内容(水印、屏幕翻拍照片)。 - 对公开发布的商品信息提高
unsafe的最低置信度;拿不准的情况会交给审核员。