Detecção de spam
Classifique texto livre como allow, review ou block e estime a probabilidade de spam com o template Detecção de spam — uma decisão com um estado de texto.
Objetivo: filtrar texto gerado por usuários — comentários, mensagens, bios de cadastro — antes de ser publicado: permitir o legítimo, bloquear o spam claro e mandar o duvidoso para um moderador.
Crie a decisão
Templates → Detecção de spam → Criar decisão:
| Parte | Conteúdo |
|---|---|
| Estado | texto — o state da requisição é a própria mensagem |
spam_probability | probability — esta mensagem é spam, phishing ou uma promoção não solicitada? |
action | choice — allow (mensagem legítima), review (duvidosa, um moderador deve conferir), block (spam claro, golpe ou abuso), other |
| Políticas | 1. action = block → block |
Chame-a
Com um estado de texto, state é uma string:
curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: comment-77310" \
-d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'{
"decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
"execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
"schema": "spam-detection",
"version": 1,
"result": { "spam_probability": 0.9731, "action": "block" },
"confidence": { "spam_probability": 0.9462, "action": 0.9067 },
"action": "block",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}Duas ações diferentes
result.action é a resposta à pergunta do template chamada action (allow, review ou block). A action do nível superior é o que as políticas decidiram. Aqui as duas dizem block porque a regra 0 mapeia uma na outra.
Uma string vazia ou um objeto JSON é rejeitado antes de o engine rodar: 422 INVALID_STATE — "Field state must be a non-empty string."
Torne o review acionável
Por padrão, uma resposta review não combina com nenhuma política e devolve continue. Adicione uma regra para que a moderação seja guiada pela ação do nível superior, e uma rede de segurança baseada na probabilidade:
[
{ "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
{ "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
{ "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]Assim o seu código só precisa da ação do nível superior:
const decision = await response.json();
switch (decision.action) {
case "block":
return comments.reject(comment, { execution_id: decision.execution_id });
case "escalate":
return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
default:
return comments.publish(comment);
}Ajuste
- Declare a sua política no
contextda decisão: o que é permitido na sua plataforma (autopromoção? links? outros idiomas?). - Divida o julgamento. "Isto é spam?" esconde várias perguntas. Pergunte os sinais separadamente — a mensagem pede uma senha, promete uma recompensa inesperada, pressiona o leitor a agir agora, aponta para um domínio que não bate com o remetente? — e combine-os num composite ou em regras. Veja Escrevendo boas perguntas.
- Espere texto adversarial. O spam é escrito para parecer legítimo: teste casos-limite no Playground antes de publicar, e seja explícito nas descrições das opções.
- Descreva o
other— por exemplo, "não é spam, mas está fora do assunto ou num idioma não suportado" — para que o conteúdo fora do assunto chegue à ação de fallback em vez de ser forçado paraallow. - Mantenha as mensagens fora dos logs quando puderem conter dados pessoais: desligue o
storeInput. - Processe em lote com cuidado: cada mensagem é uma decisão e uma requisição. Fique abaixo do seu rate limit colocando grandes backfills numa fila.
Roteamento de suporte
Roteie mensagens de suporte para o departamento certo, avalie a urgência e escale para uma pessoa quando necessário, com o template Roteamento de suporte.
Roteamento de agentes
Deixe um agente de IA escolher a primeira ferramenta e decidir quando uma tarefa realmente precisa de um large language model, com o template Roteamento de agentes.