Обнаружение спама

Классифицируйте свободный текст как allow, review или block и оцените вероятность спама с шаблоном «Обнаружение спама» — решением с текстовым state.

Цель: проверять пользовательский текст — комментарии, сообщения, описания при регистрации — до публикации: пропускать легитимное, блокировать явный спам и отправлять неясное модератору.

Создайте решение

Шаблоны → Обнаружение спама → Создать решение:

ЧастьСодержимое
Statetext — state запроса и есть само сообщение
spam_probabilityprobability — является ли это сообщение спамом, фишингом или непрошеной рекламой?
actionchoice — allow (легитимное сообщение), review (неясно, модератор должен проверить), block (явный спам, мошенничество или злоупотребление), other
Политики1. action = block → block

Вызовите его

С текстовым state поле state — строка:

curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: comment-77310" \
  -d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'
200 OK
{
  "decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
  "execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
  "schema": "spam-detection",
  "version": 1,
  "result": { "spam_probability": 0.9731, "action": "block" },
  "confidence": { "spam_probability": 0.9462, "action": 0.9067 },
  "action": "block",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}

Два разных action

result.action — ответ на вопрос шаблона с именем action (allow, review или block). action верхнего уровня — то, что решили политики. Здесь оба равны block, потому что правило 0 сопоставляет одно с другим.

Пустая строка или JSON-объект отклоняются ещё до запуска движка: 422 INVALID_STATE — "Field state must be a non-empty string."

Сделайте review применимым

По умолчанию ответ review не подходит ни под одну политику и возвращает continue. Добавьте правило, чтобы модерация управлялась действием верхнего уровня, и страховку на основе вероятности:

[
  { "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
  { "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
  { "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]

Тогда вашему коду нужно только действие верхнего уровня:

const decision = await response.json();
switch (decision.action) {
  case "block":
    return comments.reject(comment, { execution_id: decision.execution_id });
  case "escalate":
    return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
  default:
    return comments.publish(comment);
}

Настройте его

  • Опишите свои правила в context решения: что разрешено на вашей платформе (самореклама? ссылки? другие языки?).
  • Разделите суждение. «Это спам?» скрывает несколько вопросов. Спрашивайте сигналы по отдельности — просит ли сообщение пароль, обещает ли неожиданное вознаграждение, торопит ли читателя действовать немедленно, ведёт ли ссылка на домен, не совпадающий с отправителем? — и объединяйте их в composite или в правилах. См. Как писать хорошие вопросы.
  • Ожидайте враждебный текст. Спам пишут так, чтобы он выглядел легитимным: проверьте пограничные случаи в Playground перед публикацией и пишите описания вариантов явно.
  • Опишите other — например, «не спам, но не по теме или на неподдерживаемом языке», — чтобы контент не по теме попадал в действие fallback, а не втискивался в allow.
  • Не храните сообщения в журналах, если в них могут быть персональные данные: выключите storeInput.
  • Обрабатывайте пакеты аккуратно: каждое сообщение — одно решение и один запрос. Оставайтесь в пределах своего rate limit, ставя большие догрузки в очередь.

На этой странице