Модерация изображений

Проверяйте загруженное пользователем фото до публикации — недопустимый контент, спам и соответствие подписи — и блокируйте или эскалируйте его с шаблоном Image Moderation.

Цель: пользователи загружают фото к своим объявлениям. Dcision смотрит на каждое фото до публикации: недопустимые изображения и спам блокируются, а фото не по теме и не соответствующие подписи уходят модератору.

Создайте решение

Шаблоны → Модерация изображений (изображение) → Создать решение:

ЧастьСодержимое
Statephoto (изображение, обязательное), caption (строка)
unsafeprobability — нагота, насилие, оружие, наркотики или символы ненависти; минимальная уверенность 0.6
contentchoice — product, spam, unrelated, other
matches_captionprobability — фото показывает то, что описано в подписи
Политикиunsafe ≥ 0.5 → block; content = spam → block; content = unrelated → escalate; matches_caption < 0.3 → escalate; действие fallback — escalate

photo — поле изображения: PNG, JPEG, GIF или WebP. Запускайте это решение на OpenAI Decisions, чтобы движок видел само изображение; на Jev или Laya он читает описание, написанное OpenAI.

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/image-moderation \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "photo": {"url":"https://example.com/listing-photo.jpg","filename":"listing-photo.jpg"},
      "caption": "Used road bike, size M"
    }
  }'
200 OK (сокращённо)
{
  "schema": "image-moderation",
  "result": { "unsafe": 0.02, "content": "product", "matches_caption": 0.93 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "engine": "openai", "input_files": 1 }
}

Действуйте по результату

const decision = await dcisionDecide("image-moderation", { photo: fileFromBytes(upload, upload.name), caption });
if (decision.action === "continue") return publish(listing);
if (decision.action === "block") return reject(listing, decision.action_reason);
return queueForModeration(listing, decision);

Настройте его

  • Опишите свою платформу в context: как там выглядит обычное фото.
  • Добавьте варианты в content для того, что вы не допускаете (водяные знаки, фото экранов).
  • Повысьте минимальную уверенность unsafe для публичных объявлений; неясные случаи уходят модератору.

На этой странице