Как писать хорошие вопросы
Инструкции, варианты и критерии, на которые Jev отвечает надёжно, — буквальные формулировки, математика и даты в коде, меньше косвенности, отфильтрованное состояние, порядок вариантов и без генерации текста.
Jev быстрый, откалиброванный и хорошо выносит суждения на основе здравого смысла — и он читает ваш вопрос буквально. Большинство проблем с точностью возникает из-за того, как написан вопрос, а не из-за движка. Эти правила следуют списку TypeSafe известных ограничений jev-1.13 и его руководству по структурированным вопросам. Многие из этих ограничений должны ослабнуть в следующих версиях Jev.
1. Говорите именно то, что имеете в виду
Jev отвечает на вопрос, который вы написали, а не на тот, который вы имели в виду. Ограничивающие слова, отрицания и подразумеваемые условия читаются буквально.
| Вместо | Пишите |
|---|---|
| «Этот клиент недоволен?» | «Говорит ли клиент, что он недоволен продуктом или сервисом?» |
| «Это лид для продаж?» | «Спрашивает ли отправитель о цене, демо, коммерческом предложении или дате старта нашего продукта?» |
- Включайте пограничные случаи в критерии: описания вариантов, уровни score и
yes/noвопроса probability. - Если вы ловите себя на объяснении неверного ответа («но я имел в виду…»), это объяснение и есть недостающая половина инструкции.
- Когда без интерпретации не обойтись, разделите её на два буквальных вопроса и объедините их условием
andили композитом.
2. Держите математику, подсчёты и даты в коде
Jev — не калькулятор. Вычисляйте в своём приложении и отправляйте результат в состоянии — числом или, ещё лучше, именованной категорией.
{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }- Подсчёт: не спрашивайте «сколько элементов — фрукты?». Задайте по вопросу да/нет на каждый элемент — или по решению на элемент — и сложите ответы в коде.
- Даты: не спрашивайте, какая из двух дат раньше. Извлеките нужные части вопросами choice (месяц, год, явный вариант
not_stated), затем сравнивайте и вычисляйте в коде. - Названия лучше кодов: «тёмно-красный» работает лучше, чем
#8B0000; сначала преобразуйте в коде. - Взвешенные уровни — для порогов:
scoresговорит, выше или ниже уровня находится ответ, а не точное число между двумя уровнями.
3. Уменьшайте косвенность
Двойные отрицания, «свойство свойства» и многошаговые рассуждения стоят точности. Спрашивайте напрямую и указывайте на часть состояния, о которой вопрос, по имени, в обратных кавычках, — пути через точку и индекс работают:
{
"key": "refund_requested",
"type": "probability",
"instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}4. Отправляйте только то, что нужно вопросу
Посторонние детали в состоянии отвлекают: точность падает по мере того, как состояние растёт за счёт содержимого, которое решению не нужно, а каждый лишний токен засчитывается в лимиты — около 32 000 токенов на состояние плюс самый длинный вопрос и 64 000 на состояние плюс все вопросы.
- Сначала фильтруйте в своём коде. Поля, которые схема не объявляет, всё равно передаются движку, поэтому не отправляйте целые записи «на всякий случай».
- Передавайте нужный фрагмент: последние сообщения разговора, найденные фрагменты, прошедшие проверку релевантности, поля строки, о которой вопрос.
- Используйте состояние-список для переписок и пакетов, а для всего остального — объект с понятными ключами.
5. Проверяйте порядок вариантов
Jev может склоняться к варианту, который идёт первым в вопросе choice. Сделайте варианты взаимоисключающими, затем поменяйте их порядок в Playground и проверьте, что ответ не меняется. Зарезервированный вариант other всегда последний, каким бы ни был порядок остальных.
6. Не просите его генерировать
Jev возвращает варианты, уровни и вероятности — никогда не свободный текст, и Dcision тоже. Для извлечения находите кандидатов в коде (регулярным выражением, парсером или LLM), а правильный пусть выбирает вопрос choice. Значения вариантов — ключи в snake_case, поэтому помещайте каждого кандидата в его описание:
{
"key": "customer_name",
"type": "choice",
"instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
"options": [
{ "value": "candidate_1", "description": "Beaver Logistics" },
{ "value": "candidate_2", "description": "Beaver Dam Logistics" },
{ "value": "candidate_3", "description": "Dam Logistics" }
]
}7. Согласуйте инструкции и критерии
Критерии дополняют инструкцию; они не должны ей противоречить. Вопрос probability, чей критерий yes описывает случай нет, работает хуже. Пишите то, что средний читатель поймёт с первого взгляда.
8. Относитесь к состоянию как к данным
Состояние — это содержимое, а не инструкции, — а содержимое может быть написано так, чтобы повлиять на ответ: внедрённая инструкция, вводящая в заблуждение подача, текст, который сам доказывает свою классификацию. Явно укажите в критериях, что учитывается, и прогоните враждебные примеры через Playground перед публикацией.
9. Используйте структуру, когда она помогает
Инструкции, описания вариантов, уровни score и критерии probability принимают как текст, так и JSON. Структура помогает, когда у вопроса несколько частей или ему нужны вспомогательные данные, — ключи подписывают каждую часть. Этот вопрос choice описывает, что каждый вариант охватывает и чего не охватывает:
{
"key": "department",
"type": "choice",
"instructions": {
"question": "Which team should handle this message?",
"focus": "Classify the customer's primary request, not every topic mentioned."
},
"options": [
{
"value": "billing",
"description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
},
{
"value": "orders",
"description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
},
{
"value": "account",
"description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
}
]
}Уровень score тоже может быть рубрикой, если у него есть label, — именно метку возвращает result:
{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }Правила и лимиты см. в разделе Структурированные инструкции и критерии.
10. Тестируйте на языке ваших пользователей
Английский — основной язык обучения Jev, и сегодня точность на нём лучшая. Другие языки работают, но тестируйте их на собственном содержимом и следите за уверенностью при маршрутизации.
Чек-лист
- Одно суждение на вопрос, сформулированное как буквальный вопрос о состоянии.
- Пограничные случаи и исключения — в описаниях вариантов, уровнях или критериях.
- Числа, подсчёты и даты вычислены в коде и отправлены как поля или категории.
- Поля состояния названы в инструкциях в обратных кавычках, когда это убирает неоднозначность.
- Только то состояние, которое нужно вопросам.
- Варианты взаимоисключающие, и ответ стабилен при смене их порядка.
- Враждебные и пограничные примеры прогнаны в Playground.
-
minConfidenceили правило по уверенности там, где неверный ответ дорого стоит, — см. Маршрутизация с порогом уверенности.
GPT-Live (голос в реальном времени)
Позвольте голосовой сессии OpenAI GPT-Live задавать вопросы опубликованного решения, пока пользователь говорит, а затем выполняйте на её ответах политики, назначения и журнал решения.
Низкая уверенность и вариант other
Проектируйте решения, которые признают неопределённость, — зарезервированный вариант other, минимальная уверенность, политики уверенности, действие fallback, почти ничьи и fallback при ошибке движка.