Detección de spam

Clasifica texto libre como allow, review o block y estima su probabilidad de spam con la plantilla Detección de spam, una decisión con un estado de texto.

Objetivo: filtrar el texto generado por usuarios —comentarios, mensajes, biografías de registro— antes de publicarlo: permitir lo legítimo, bloquear el spam evidente y enviar lo dudoso a un moderador.

Crea la decisión

Plantillas → Detección de spam → Crear decisión:

ParteContenido
Statetext: el state de la solicitud es el propio mensaje
spam_probabilityprobability — ¿este mensaje es spam, phishing o una promoción no solicitada?
actionchoice — allow (mensaje legítimo), review (dudoso, un moderador debería revisarlo), block (spam evidente, estafa o abuso), other
Políticas1. action = block → block

Llámala

Con un estado de texto, state es un string:

curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: comment-77310" \
  -d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'
200 OK
{
  "decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
  "execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
  "schema": "spam-detection",
  "version": 1,
  "result": { "spam_probability": 0.9731, "action": "block" },
  "confidence": { "spam_probability": 0.9462, "action": 0.9067 },
  "action": "block",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}

Dos acciones distintas

result.action es la respuesta a la pregunta de la plantilla llamada action (allow, review o block). El action de nivel superior es lo que decidieron las políticas. Aquí ambos dicen block porque la regla 0 asigna uno al otro.

Un string vacío o un objeto JSON se rechazan antes de que se ejecute el motor: 422 INVALID_STATE — "Field state must be a non-empty string."

Haz que review tenga consecuencias

De fábrica, una respuesta review no coincide con ninguna política y devuelve continue. Agrega una regla para que la moderación dependa de la acción de nivel superior, y una red de seguridad basada en la probabilidad:

[
  { "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
  { "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
  { "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]

Así tu código solo necesita la acción de nivel superior:

const decision = await response.json();
switch (decision.action) {
  case "block":
    return comments.reject(comment, { execution_id: decision.execution_id });
  case "escalate":
    return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
  default:
    return comments.publish(comment);
}

Ajústala

  • Explica tu política en el context de la decisión: qué se permite en tu plataforma (¿autopromoción?, ¿enlaces?, ¿otros idiomas?).
  • Divide el juicio. "¿Es spam?" esconde varias preguntas. Pregunta las señales por separado —¿el mensaje pide una contraseña, promete una recompensa inesperada, presiona al lector para actuar ya, enlaza a un dominio que no coincide con el remitente?— y combínalas en un compuesto o en reglas. Consulta Escribir buenas preguntas.
  • Espera texto adversarial. El spam se escribe para parecer legítimo: prueba los casos límite en el Playground antes de publicar, y sé explícito en las descripciones de las opciones.
  • Describe other —por ejemplo, "no es spam, pero está fuera de tema o en un idioma no admitido"— para que el contenido fuera de tema llegue a la acción de fallback en lugar de forzarse a allow.
  • Mantén los mensajes fuera de los logs cuando puedan contener datos personales: desactiva storeInput.
  • Procesa en lote con cuidado: cada mensaje es una decisión y una solicitud. Mantente por debajo de tu rate limit encolando las cargas masivas.

En esta página