Обнаружение спама
Классифицируйте свободный текст как allow, review или block и оцените вероятность спама с шаблоном «Обнаружение спама» — решением с текстовым state.
Цель: проверять пользовательский текст — комментарии, сообщения, описания при регистрации — до публикации: пропускать легитимное, блокировать явный спам и отправлять неясное модератору.
Создайте решение
Шаблоны → Обнаружение спама → Создать решение:
| Часть | Содержимое |
|---|---|
| State | text — state запроса и есть само сообщение |
spam_probability | probability — является ли это сообщение спамом, фишингом или непрошеной рекламой? |
action | choice — allow (легитимное сообщение), review (неясно, модератор должен проверить), block (явный спам, мошенничество или злоупотребление), other |
| Политики | 1. action = block → block |
Вызовите его
С текстовым state поле state — строка:
curl -X POST https://api.dcision.io/v1/decisions/spam-detection \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: comment-77310" \
-d '{ "state": "Congratulations! You won a $1000 gift card, click here to claim now." }'{
"decision_id": "dec_Vx7pL2qR9mTz4Kc8Wn1J",
"execution_id": "exec_Hd3sQ8wF1yLm6Pz2Rk9T",
"schema": "spam-detection",
"version": 1,
"result": { "spam_probability": 0.9731, "action": "block" },
"confidence": { "spam_probability": 0.9462, "action": 0.9067 },
"action": "block",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": { "latency_ms": 287, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.0000063, "input_tokens": 150, "output_tokens": 19 }
}Два разных action
result.action — ответ на вопрос шаблона с именем action (allow, review или block). action верхнего уровня — то, что решили политики. Здесь оба равны block, потому что правило 0 сопоставляет одно с другим.
Пустая строка или JSON-объект отклоняются ещё до запуска движка: 422 INVALID_STATE — "Field state must be a non-empty string."
Сделайте review применимым
По умолчанию ответ review не подходит ни под одну политику и возвращает continue. Добавьте правило, чтобы модерация управлялась действием верхнего уровня, и страховку на основе вероятности:
[
{ "field": "action", "on": "output", "operator": "eq", "value": "block", "action": "block" },
{ "field": "spam_probability", "on": "output", "operator": "gte", "value": 0.9, "action": "block" },
{ "field": "action", "on": "output", "operator": "eq", "value": "review", "action": "escalate" }
]Тогда вашему коду нужно только действие верхнего уровня:
const decision = await response.json();
switch (decision.action) {
case "block":
return comments.reject(comment, { execution_id: decision.execution_id });
case "escalate":
return moderation.enqueue(comment, { spamProbability: decision.result.spam_probability });
default:
return comments.publish(comment);
}Настройте его
- Опишите свои правила в
contextрешения: что разрешено на вашей платформе (самореклама? ссылки? другие языки?). - Разделите суждение. «Это спам?» скрывает несколько вопросов. Спрашивайте сигналы по отдельности — просит ли сообщение пароль, обещает ли неожиданное вознаграждение, торопит ли читателя действовать немедленно, ведёт ли ссылка на домен, не совпадающий с отправителем? — и объединяйте их в composite или в правилах. См. Как писать хорошие вопросы.
- Ожидайте враждебный текст. Спам пишут так, чтобы он выглядел легитимным: проверьте пограничные случаи в Playground перед публикацией и пишите описания вариантов явно.
- Опишите
other— например, «не спам, но не по теме или на неподдерживаемом языке», — чтобы контент не по теме попадал в действие fallback, а не втискивался вallow. - Не храните сообщения в журналах, если в них могут быть персональные данные: выключите
storeInput. - Обрабатывайте пакеты аккуратно: каждое сообщение — одно решение и один запрос. Оставайтесь в пределах своего rate limit, ставя большие догрузки в очередь.
Маршрутизация поддержки
Направляйте сообщения в поддержку в нужный отдел, оценивайте их срочность и передавайте человеку, когда это нужно, с шаблоном «Маршрутизация поддержки».
Маршрутизация агентов
Позвольте ИИ-агенту выбрать первый инструмент и решить, когда задаче действительно нужна большая языковая модель, с шаблоном Agent Routing.