Moderação de imagens

Confira uma foto enviada por um usuário antes de ir ao ar — conteúdo impróprio, spam e se ela combina com a legenda — e bloqueie ou escale, com o template Moderação de imagens.

Objetivo: as pessoas enviam fotos com os seus anúncios. A Dcision olha cada foto antes de ela ir ao ar: imagens impróprias e spam são bloqueados, as sem relação e as que não combinam com a legenda vão para um moderador.

Crie a decisão

Templates → Moderação de imagens (imagem) → Criar decisão:

ParteConteúdo
Estadophoto (imagem, obrigatório), caption (string)
unsafeprobability — nudez, violência, armas, drogas ou símbolos de ódio; confiança mínima 0.6
contentchoice — product, spam, unrelated, other
matches_captionprobability — a foto mostra o que a legenda descreve
Políticasunsafe ≥ 0.5 → block; content = spam → block; content = unrelated → escalate; matches_caption < 0.3 → escalate; ação de fallback escalate

photo é um campo de imagem: PNG, JPEG, GIF ou WebP. Rode esta decisão no OpenAI Decisions para que o engine veja a própria imagem; no Jev ou no Laya, ele lê uma descrição escrita pela OpenAI.

Chame-a

curl -X POST https://api.dcision.io/v1/decisions/image-moderation \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "photo": {"url":"https://example.com/listing-photo.jpg","filename":"listing-photo.jpg"},
      "caption": "Used road bike, size M"
    }
  }'
200 OK (resumida)
{
  "schema": "image-moderation",
  "result": { "unsafe": 0.02, "content": "product", "matches_caption": 0.93 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "engine": "openai", "input_files": 1 }
}

Aja sobre o resultado

const decision = await dcisionDecide("image-moderation", { photo: fileFromBytes(upload, upload.name), caption });
if (decision.action === "continue") return publish(listing);
if (decision.action === "block") return reject(listing, decision.action_reason);
return queueForModeration(listing, decision);

Ajuste

  • Descreva a sua plataforma em context: como é uma foto normal ali.
  • Adicione opções a content para o que você não permite (marcas d'água, fotos de telas).
  • Aumente a confiança mínima de unsafe em anúncios públicos; os casos incertos vão para um moderador.

Nesta página