Detección de spam
Clasifica texto libre como allow, review o block y estima su probabilidad de spam con la plantilla Detección de spam, una decisión con un estado de texto.
Objetivo: filtrar el texto generado por usuarios —comentarios, mensajes, biografías de registro— antes de publicarlo: permitir lo legítimo, bloquear el spam evidente y enviar lo dudoso a un moderador.
Crea la decisión
Plantillas → Detección de spam → Crear decisión:
| Parte | Contenido |
|---|---|
| State | text: el state de la solicitud es el propio mensaje |
spam_probability | probability — ¿este mensaje es spam, phishing o una promoción no solicitada? |
action | choice — allow (mensaje legítimo), review (dudoso, un moderador debería revisarlo), block (spam evidente, estafa o abuso), other |
| Políticas | 1. action = block → block |
Llámala
Con un estado de texto, state es un string:
curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: comment-77310" \
-d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'{
"decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
"execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
"schema": "spam-detection",
"version": 1,
"result": { "spam_probability": 0.9731, "action": "block" },
"confidence": { "spam_probability": 0.9462, "action": 0.9067 },
"action": "block",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}Dos acciones distintas
result.action es la respuesta a la pregunta de la plantilla llamada action (allow, review o block). El action de nivel superior es lo que decidieron las políticas. Aquí ambos dicen block porque la regla 0 asigna uno al otro.
Un string vacío o un objeto JSON se rechazan antes de que se ejecute el motor: 422 INVALID_STATE — "Field state must be a non-empty string."
Haz que review tenga consecuencias
De fábrica, una respuesta review no coincide con ninguna política y devuelve continue. Agrega una regla para que la moderación dependa de la acción de nivel superior, y una red de seguridad basada en la probabilidad:
[
{ "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
{ "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
{ "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]Así tu código solo necesita la acción de nivel superior:
const decision = await response.json();
switch (decision.action) {
case "block":
return comments.reject(comment, { execution_id: decision.execution_id });
case "escalate":
return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
default:
return comments.publish(comment);
}Ajústala
- Explica tu política en el
contextde la decisión: qué se permite en tu plataforma (¿autopromoción?, ¿enlaces?, ¿otros idiomas?). - Divide el juicio. "¿Es spam?" esconde varias preguntas. Pregunta las señales por separado —¿el mensaje pide una contraseña, promete una recompensa inesperada, presiona al lector para actuar ya, enlaza a un dominio que no coincide con el remitente?— y combínalas en un compuesto o en reglas. Consulta Escribir buenas preguntas.
- Espera texto adversarial. El spam se escribe para parecer legítimo: prueba los casos límite en el Playground antes de publicar, y sé explícito en las descripciones de las opciones.
- Describe
other—por ejemplo, "no es spam, pero está fuera de tema o en un idioma no admitido"— para que el contenido fuera de tema llegue a la acción de fallback en lugar de forzarse aallow. - Mantén los mensajes fuera de los logs cuando puedan contener datos personales: desactiva
storeInput. - Procesa en lote con cuidado: cada mensaje es una decisión y una solicitud. Mantente por debajo de tu rate limit encolando las cargas masivas.
Enrutamiento de soporte
Enruta los mensajes de soporte al departamento correcto, califica su urgencia y escala a una persona cuando hace falta, con la plantilla Enrutamiento de soporte.
Enrutamiento de agentes
Deja que un agente de IA elija su primera herramienta y decida cuándo una tarea realmente necesita un modelo de lenguaje grande, con la plantilla Enrutamiento de agentes.