Moderación de imágenes

Revisa una foto subida por un usuario antes de publicarla — contenido inapropiado, spam y si coincide con su descripción — y bloquéala o escálala, con la plantilla Moderación de imágenes.

Objetivo: la gente sube fotos con sus anuncios. Dcision mira cada foto antes de publicarla: las imágenes inapropiadas y el spam se bloquean; las no relacionadas y las que no coinciden con su descripción van a un moderador.

Crear la decisión

Plantillas → Moderación de imágenes (imagen) → Crear decisión:

ParteContenido
Statephoto (imagen, obligatorio), caption (string)
unsafeprobability — desnudos, violencia, armas, drogas o símbolos de odio; confianza mínima 0.6
contentchoice — product, spam, unrelated, other
matches_captionprobability — la foto muestra lo que describe el texto que la acompaña
Políticasunsafe ≥ 0.5 → block; content = spam → block; content = unrelated → escalate; matches_caption < 0.3 → escalate; acción de fallback escalate

photo es un campo de imagen: PNG, JPEG, GIF o WebP. Ejecuta esta decisión en OpenAI Decisions para que el motor vea la imagen en sí; en Jev o Laya lee una descripción escrita por OpenAI.

Llámala

curl -X POST https://api.dcision.io/v1/decisions/image-moderation \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "photo": {"url":"https://example.com/listing-photo.jpg","filename":"listing-photo.jpg"},
      "caption": "Used road bike, size M"
    }
  }'
200 OK (resumida)
{
  "schema": "image-moderation",
  "result": { "unsafe": 0.02, "content": "product", "matches_caption": 0.93 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "engine": "openai", "input_files": 1 }
}

Actúa en consecuencia

const decision = await dcisionDecide("image-moderation", { photo: fileFromBytes(upload, upload.name), caption });
if (decision.action === "continue") return publish(listing);
if (decision.action === "block") return reject(listing, decision.action_reason);
return queueForModeration(listing, decision);

Ajústala

  • Describe tu plataforma en context: cómo es allí una foto normal.
  • Añade opciones a content para lo que no permites (marcas de agua, fotos de pantallas).
  • Sube la confianza mínima de unsafe en los anuncios públicos; los casos dudosos van a un moderador.

En esta página