Как писать хорошие вопросы

Инструкции, варианты и критерии, на которые Jev отвечает надёжно, — буквальные формулировки, математика и даты в коде, меньше косвенности, отфильтрованное состояние, порядок вариантов и без генерации текста.

Jev быстрый, откалиброванный и хорошо выносит суждения на основе здравого смысла — и он читает ваш вопрос буквально. Большинство проблем с точностью возникает из-за того, как написан вопрос, а не из-за движка. Эти правила следуют списку TypeSafe известных ограничений jev-1.13 и его руководству по структурированным вопросам. Многие из этих ограничений должны ослабнуть в следующих версиях Jev.

1. Говорите именно то, что имеете в виду

Jev отвечает на вопрос, который вы написали, а не на тот, который вы имели в виду. Ограничивающие слова, отрицания и подразумеваемые условия читаются буквально.

ВместоПишите
«Этот клиент недоволен?»«Говорит ли клиент, что он недоволен продуктом или сервисом?»
«Это лид для продаж?»«Спрашивает ли отправитель о цене, демо, коммерческом предложении или дате старта нашего продукта?»
  • Включайте пограничные случаи в критерии: описания вариантов, уровни score и yes / no вопроса probability.
  • Если вы ловите себя на объяснении неверного ответа («но я имел в виду…»), это объяснение и есть недостающая половина инструкции.
  • Когда без интерпретации не обойтись, разделите её на два буквальных вопроса и объедините их условием and или композитом.

2. Держите математику, подсчёты и даты в коде

Jev — не калькулятор. Вычисляйте в своём приложении и отправляйте результат в состоянии — числом или, ещё лучше, именованной категорией.

{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }
  • Подсчёт: не спрашивайте «сколько элементов — фрукты?». Задайте по вопросу да/нет на каждый элемент — или по решению на элемент — и сложите ответы в коде.
  • Даты: не спрашивайте, какая из двух дат раньше. Извлеките нужные части вопросами choice (месяц, год, явный вариант not_stated), затем сравнивайте и вычисляйте в коде.
  • Названия лучше кодов: «тёмно-красный» работает лучше, чем #8B0000; сначала преобразуйте в коде.
  • Взвешенные уровни — для порогов: scores говорит, выше или ниже уровня находится ответ, а не точное число между двумя уровнями.

3. Уменьшайте косвенность

Двойные отрицания, «свойство свойства» и многошаговые рассуждения стоят точности. Спрашивайте напрямую и указывайте на часть состояния, о которой вопрос, по имени, в обратных кавычках, — пути через точку и индекс работают:

{
  "key": "refund_requested",
  "type": "probability",
  "instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}

4. Отправляйте только то, что нужно вопросу

Посторонние детали в состоянии отвлекают: точность падает по мере того, как состояние растёт за счёт содержимого, которое решению не нужно, а каждый лишний токен засчитывается в лимиты — около 32 000 токенов на состояние плюс самый длинный вопрос и 64 000 на состояние плюс все вопросы.

  • Сначала фильтруйте в своём коде. Поля, которые схема не объявляет, всё равно передаются движку, поэтому не отправляйте целые записи «на всякий случай».
  • Передавайте нужный фрагмент: последние сообщения разговора, найденные фрагменты, прошедшие проверку релевантности, поля строки, о которой вопрос.
  • Используйте состояние-список для переписок и пакетов, а для всего остального — объект с понятными ключами.

5. Проверяйте порядок вариантов

Jev может склоняться к варианту, который идёт первым в вопросе choice. Сделайте варианты взаимоисключающими, затем поменяйте их порядок в Playground и проверьте, что ответ не меняется. Зарезервированный вариант other всегда последний, каким бы ни был порядок остальных.

6. Не просите его генерировать

Jev возвращает варианты, уровни и вероятности — никогда не свободный текст, и Dcision тоже. Для извлечения находите кандидатов в коде (регулярным выражением, парсером или LLM), а правильный пусть выбирает вопрос choice. Значения вариантов — ключи в snake_case, поэтому помещайте каждого кандидата в его описание:

{
  "key": "customer_name",
  "type": "choice",
  "instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
  "options": [
    { "value": "candidate_1", "description": "Beaver Logistics" },
    { "value": "candidate_2", "description": "Beaver Dam Logistics" },
    { "value": "candidate_3", "description": "Dam Logistics" }
  ]
}

7. Согласуйте инструкции и критерии

Критерии дополняют инструкцию; они не должны ей противоречить. Вопрос probability, чей критерий yes описывает случай нет, работает хуже. Пишите то, что средний читатель поймёт с первого взгляда.

8. Относитесь к состоянию как к данным

Состояние — это содержимое, а не инструкции, — а содержимое может быть написано так, чтобы повлиять на ответ: внедрённая инструкция, вводящая в заблуждение подача, текст, который сам доказывает свою классификацию. Явно укажите в критериях, что учитывается, и прогоните враждебные примеры через Playground перед публикацией.

9. Используйте структуру, когда она помогает

Инструкции, описания вариантов, уровни score и критерии probability принимают как текст, так и JSON. Структура помогает, когда у вопроса несколько частей или ему нужны вспомогательные данные, — ключи подписывают каждую часть. Этот вопрос choice описывает, что каждый вариант охватывает и чего не охватывает:

{
  "key": "department",
  "type": "choice",
  "instructions": {
    "question": "Which team should handle this message?",
    "focus": "Classify the customer's primary request, not every topic mentioned."
  },
  "options": [
    {
      "value": "billing",
      "description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
    },
    {
      "value": "orders",
      "description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
    },
    {
      "value": "account",
      "description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
    }
  ]
}

Уровень score тоже может быть рубрикой, если у него есть label, — именно метку возвращает result:

{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }

Правила и лимиты см. в разделе Структурированные инструкции и критерии.

10. Тестируйте на языке ваших пользователей

Английский — основной язык обучения Jev, и сегодня точность на нём лучшая. Другие языки работают, но тестируйте их на собственном содержимом и следите за уверенностью при маршрутизации.

Чек-лист

  • Одно суждение на вопрос, сформулированное как буквальный вопрос о состоянии.
  • Пограничные случаи и исключения — в описаниях вариантов, уровнях или критериях.
  • Числа, подсчёты и даты вычислены в коде и отправлены как поля или категории.
  • Поля состояния названы в инструкциях в обратных кавычках, когда это убирает неоднозначность.
  • Только то состояние, которое нужно вопросам.
  • Варианты взаимоисключающие, и ответ стабилен при смене их порядка.
  • Враждебные и пограничные примеры прогнаны в Playground.
  • minConfidence или правило по уверенности там, где неверный ответ дорого стоит, — см. Маршрутизация с порогом уверенности.

На этой странице