图片审核

使用“图片审核”模板,在用户上传的照片发布之前检查不当内容、垃圾信息以及照片是否与描述相符,并拦截或升级。

目标:用户会为他们的商品信息上传照片。Dcision 在每张照片发布之前先查看它:不安全的图片和垃圾信息会被拦截,无关的照片以及与描述不符的照片会交给审核员。

创建决策

模板 → 图片审核(图片输入) → 创建决策:

部分内容
状态photo(图片,必填)、caption(字符串)
unsafeprobability——裸露、暴力、武器、毒品或仇恨符号;最低置信度 0.6
contentchoice——product、spam、unrelated、other
matches_captionprobability——照片展示的正是描述所说的内容
策略unsafe ≥ 0.5 → block;content = spam → block;content = unrelated → escalate;matches_caption < 0.3 → escalate;fallback 行动为 escalate

photo 是一个图片字段:支持 PNG、JPEG、GIF 或 WebP。在 OpenAI Decisions 上运行此决策,引擎就能直接看到图片本身;在 Jev 或 Laya 上,引擎读取的是由 OpenAI 撰写的图片描述。

调用

curl -X POST https://api.dcision.io/v1/decisions/image-moderation \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "photo": {"url":"https://example.com/listing-photo.jpg","filename":"listing-photo.jpg"},
      "caption": "Used road bike, size M"
    }
  }'
200 OK(节选)
{
  "schema": "image-moderation",
  "result": { "unsafe": 0.02, "content": "product", "matches_caption": 0.93 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "engine": "openai", "input_files": 1 }
}

据此行动

const decision = await dcisionDecide("image-moderation", { photo: fileFromBytes(upload, upload.name), caption });
if (decision.action === "continue") return publish(listing);
if (decision.action === "block") return reject(listing, decision.action_reason);
return queueForModeration(listing, decision);

调优

  • 在 context 中描述你的平台:在那里一张正常的照片是什么样子。
  • 为 content 添加选项,覆盖你不允许的内容(水印、屏幕翻拍照片)。
  • 对公开发布的商品信息提高 unsafe 的最低置信度;拿不准的情况会交给审核员。

本页内容