Detecção de spam

Classifique texto livre como allow, review ou block e estime a probabilidade de spam com o template Detecção de spam — uma decisão com um estado de texto.

Objetivo: filtrar texto gerado por usuários — comentários, mensagens, bios de cadastro — antes de ser publicado: permitir o legítimo, bloquear o spam claro e mandar o duvidoso para um moderador.

Crie a decisão

Templates → Detecção de spam → Criar decisão:

ParteConteúdo
Estadotexto — o state da requisição é a própria mensagem
spam_probabilityprobability — esta mensagem é spam, phishing ou uma promoção não solicitada?
actionchoice — allow (mensagem legítima), review (duvidosa, um moderador deve conferir), block (spam claro, golpe ou abuso), other
Políticas1. action = block → block

Chame-a

Com um estado de texto, state é uma string:

curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: comment-77310" \
  -d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'
200 OK
{
  "decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
  "execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
  "schema": "spam-detection",
  "version": 1,
  "result": { "spam_probability": 0.9731, "action": "block" },
  "confidence": { "spam_probability": 0.9462, "action": 0.9067 },
  "action": "block",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}

Duas ações diferentes

result.action é a resposta à pergunta do template chamada action (allow, review ou block). A action do nível superior é o que as políticas decidiram. Aqui as duas dizem block porque a regra 0 mapeia uma na outra.

Uma string vazia ou um objeto JSON é rejeitado antes de o engine rodar: 422 INVALID_STATE — "Field state must be a non-empty string."

Torne o review acionável

Por padrão, uma resposta review não combina com nenhuma política e devolve continue. Adicione uma regra para que a moderação seja guiada pela ação do nível superior, e uma rede de segurança baseada na probabilidade:

[
  { "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
  { "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
  { "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]

Assim o seu código só precisa da ação do nível superior:

const decision = await response.json();
switch (decision.action) {
  case "block":
    return comments.reject(comment, { execution_id: decision.execution_id });
  case "escalate":
    return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
  default:
    return comments.publish(comment);
}

Ajuste

  • Declare a sua política no context da decisão: o que é permitido na sua plataforma (autopromoção? links? outros idiomas?).
  • Divida o julgamento. "Isto é spam?" esconde várias perguntas. Pergunte os sinais separadamente — a mensagem pede uma senha, promete uma recompensa inesperada, pressiona o leitor a agir agora, aponta para um domínio que não bate com o remetente? — e combine-os num composite ou em regras. Veja Escrevendo boas perguntas.
  • Espere texto adversarial. O spam é escrito para parecer legítimo: teste casos-limite no Playground antes de publicar, e seja explícito nas descrições das opções.
  • Descreva o other — por exemplo, "não é spam, mas está fora do assunto ou num idioma não suportado" — para que o conteúdo fora do assunto chegue à ação de fallback em vez de ser forçado para allow.
  • Mantenha as mensagens fora dos logs quando puderem conter dados pessoais: desligue o storeInput.
  • Processe em lote com cuidado: cada mensagem é uma decisão e uma requisição. Fique abaixo do seu rate limit colocando grandes backfills numa fila.

Nesta página