Обзор и калибровка
Как читать вкладку «Обзор» решения — запуски, доля успешных, задержка, стоимость, действия, причины и статистика по вопросам — и действовать по каждой подсказке калибровки с её порогами.
Обзор — первая вкладка каждого решения. Она отвечает на три вопроса о выбранном периоде: работает ли решение, сколько оно стоит и где оно ошибается или колеблется — и что нужно изменить? Редактор находится на соседней вкладке Редактор; новые и дублированные решения открываются сразу в редакторе.
Выберите период — 7, 30 (по умолчанию) или 90 дней — и трафик: Весь трафик, API или Playground. «Обзор» видят все в рабочем пространстве, включая наблюдателей. Дни считаются в UTC.
Показатели
| Показатель | Что это |
|---|---|
| Запуски | Все выполнения за период — успешные и нет. Стрелка сравнивает их с предыдущим периодом той же длины (новое, если в нём запусков не было). |
| Доля успешных | Доля запусков без ошибки, вместе с числом ошибок. Становится красной начиная с 2% ошибок. |
| Задержка p50 · p95 | Медианная задержка и задержка 95-го перцентиля успешных запусков. |
| Входные токены / запуск | Среднее число входных токенов успешных запусков — от него зависят стоимость и задержка движка. |
| Стоимость движка (оценка) | Сумма оценочной стоимости движка по запускам и количество версий, которые выполнялись за период. |
Под ними:
- Запуски в день — запуски и, пунктиром, ошибки.
- Итоговое действие — доля каждого действия, которое получили вызывающие (успешные запуски и fallback из-за ошибок движка).
- Почему — какая часть решения выбрала действие: Сработало правило политики, Ответ «other», Движок отказался отвечать (отказ), Ниже минимальной уверенности, Сбой движка → fallback или Ни одно правило не сработало (continue) — и сколько раз сработало каждое правило (Сработавшие правила: #1 × 120).
- Ошибки — неудачные запуски по коду ошибки; каждый код открывает Выполнения с фильтром по ошибкам. Ошибки никогда не тарифицируются.
- Трафик — запуски из API и Playground. Версии — запуски по каждой опубликованной версии и черновик для запусков в Playground.
Вопросы
По одной карточке на вопрос, по выборке из последних 2 000 успешных запусков периода. Статистике нужны ответы, поэтому она учитывает только запуски, сохранённые при включённом storeOutput решения.
| Метрика | Что показывает | Выделяется начиная с |
|---|---|---|
| Ответы | Доля каждого варианта или уровня. Вопросы probability показывают распределение p(yes) по десятым долям, от 0 до 1. | — |
| Уверенность | Гистограмма из 20 столбцов по 0.05, от 0 до 1. Уверенные ответы находятся справа. | — |
| Средняя уверенность | Средняя уверенность ответов. | ниже 0.6 |
| Ниже минимума | Доля ответов ниже minConfidence вопроса — запуски, которые получают действие fallback, если раньше не сработала политика. | 20% |
| Почти ничьи (choice, score) | Доля ответов, у которых два лучших варианта или уровня отличались меньше чем на 0.15, и пара, которую путали чаще всего. | 15% |
| Не определено (probability) | Доля вероятностей между 0.35 и 0.65 — ни да, ни нет. | 30% |
| «other» (choice) | Доля ответов, где не подошёл ни один вариант. | 10% |
| Среднее p(yes) (probability) | Средняя вероятность ответа да. | — |
Настроить на каждой карточке открывает вопрос в редакторе.
Назначения
Для решений с назначениями таблица подсчитывает за период по каждому назначению:
| Столбец | Что считает |
|---|---|
| Возвращено | Ответы, переданные обратно в ответе API, — функции, готовые ответы, ответы LLM и агентов. |
| Доставлено | Успешные доставки: вебхуки, API-запросы, workflow и передачи агентам. |
| С ошибкой | Неудавшиеся доставки и неудавшиеся вызовы LLM или агентов. |
| В ожидании | Доставки, которые ещё ждут попытки. |
Теневой режим
Для решений с settings.shadow карточка Теневой режим сравнивает основной движок с теневым на выбранных production-запусках периода (до 2 000 последних):
| Метрика | Что показывает |
|---|---|
| Совпадение | Доля теневых запусков, где каждый вопрос получил одинаковый ответ на обоих движках. |
| Теневые запуски | Сколько запусков сравнено и сколько завершились ошибкой на теневом движке — неудачные не сравниваются. |
| Задержка p50 тени | Медианная задержка теневого движка, для сравнения с Задержкой p50 основного. |
| По вопросам | Совпадение по каждому вопросу: зелёный от 90%, жёлтый от 70%, красный ниже. |
Два ответа совпадают, когда вопрос choice выбрал тот же вариант, вопрос score — тот же уровень, а вопрос probability оказался по ту же сторону от 0,5 — оба выше или оба ниже. Вопрос, на который любой из движков отказался отвечать, не учитывается. Прежде чем переключить settings.engine, изучите доли по вопросам, которые используют ваши политики, — см. Сравнение и теневой запуск движков.
Подсказки по калибровке
Карточка Подсказки по калибровке превращает цифры в советы. Каждая подсказка приводит измерение, на котором она основана, чтобы вы могли его проверить, и ведёт к полю, которое нужно изменить, через Исправить в редакторе. Подсказки отсортированы по важности — высокая, средняя, низкая, инфо.
- Если за период меньше 20 запусков, карточка лишь сообщает, что выборка мала, — никаких советов на основе шума.
- Советам по вопросу также нужно 20 ответов этого вопроса в выборке.
- Подсказки указывают на черновик — то, что вы редактируете, — или на опубликованную версию, если черновик недействителен.
| Подсказка | Когда показывается | Важность | Что делать |
|---|---|---|---|
| Статистика по вопросам выключена | Решение не сохраняет результаты. | инфо | Включите Сохранять результат в выполнениях, чтобы получать советы по вопросам. |
| Всего 12 запусков за этот период | Меньше 20 запусков. | инфо | Запустите репрезентативные входные данные в Playground или отправьте реальный трафик. |
| 5% запусков завершились ошибкой (чаще всего ENGINE_TIMEOUT, 41) | Ошибкой завершились 2% запусков или больше — высокая начиная с 10%. | средняя, высокая | По коду: увеличьте timeoutMs или отвечайте действием fallback (ENGINE_TIMEOUT); распределите всплески или используйте свой ключ (ENGINE_RATE_LIMITED); включите fallback при ошибке движка (ENGINE_UNAVAILABLE); исправьте то, что отправляют вызывающие (INVALID_STATE); в остальных случаях изучите ошибки в разделе «Выполнения». |
| 34% запусков заканчиваются действием fallback (escalate) | 30% запусков или больше получили действие fallback из-за other или низкой уверенности. | средняя | Прочитайте советы по вопросам, прежде чем ослаблять пороги. |
| «route» ответил «other» в 14% запусков | Вопрос choice ответил other в 10% своих ответов или больше — высокая начиная с 25%. | средняя, высокая | Посмотрите эти выполнения; добавьте вариант для частого случая или расширьте описания. |
| «route» — почти ничья в 22% запусков (чаще всего «sales» или «sdr») | Два лучших ответа вопроса choice или score отличались меньше чем на 0.15 в 15% его ответов или больше — высокая начиная с 30%. | средняя, высокая | Противопоставьте два описания и добавьте исключения ("not for existing customers"); Jev склоняется к первому варианту, поэтому ставьте более конкретный первым. Для уровней опишите каждый конкретными критериями. |
| Средняя уверенность по «priority» — 0.52 | Средняя уверенность вопроса ниже 0.6. | средняя | Задайте один буквальный вопрос, разделите составные, укажите важные поля состояния в обратных кавычках или добавьте фон в context. |
| minConfidence 0.8 отправляет 27% ответов «route» в escalate | 20% ответов вопроса или больше оказываются ниже его minConfidence. | средняя | Карточка моделирует долю ниже 0.5, 0.6, 0.7, 0.8 и 0.9 и называет самый высокий порог, при котором она остаётся не больше 10%. Снижайте порог, только если ответы около него обычно верны; иначе сначала улучшите вопрос. |
| Неуверенные ответы «route» могут запускать блокирующие правила | У вопроса нет minConfidence, у решения есть правило block, и некоторые ответы оказываются ниже 0.7. | низкая | Задайте minConfidence, чтобы неуверенные ответы получали действие fallback, а не блокировались. |
| «purchase_intent» не определён (p между 0.35 и 0.65) в 31% запусков | Вероятность между 0.35 и 0.65 в 30% ответов или больше. | средняя | Добавьте критерии считается как да и считается как нет. |
| «route» ответил «sales» в 93% запусков | Один ответ вопроса choice или score встречается в 90% или больше как минимум из 50 ответов. | низкая | Либо трафик однороден, либо вопрос не различает случаи: уточните остальные варианты или удалите вопрос, чтобы сэкономить токены. |
| «spam» ни разу не выбран за 412 запусков | Вариант или уровень ни разу не был выбран как минимум за 200 ответов (кроме other). | низкая | Проверьте его описание или удалите его, если такого случая не бывает. |
| Правило №3 (IF route eq spam THEN block) ни разу не сработало за 1 250 запусков | Как минимум 100 запусков, и правило ни разу не сработало. | низкая | Возможно, всегда побеждает более раннее правило, или значение недостижимо. |
| Правило №1 (…) срабатывает в 97% запусков | Как минимум 100 запусков, и правило сработало в 95% из них или больше. | низкая | Правило может быть шире, чем задумано, — у следующих правил нет шанса сработать. |
| В среднем 2 480 входных токенов на решение | В среднем больше 2 000 входных токенов на запуск. | низкая | Сократите инструкции и context, объедините вопросы, отправляйте состояния меньшего размера. |
| Задержка p95 — 3.4 с | Задержка p95 выше 3 с. | низкая | Задержка растёт вместе с входными токенами; при жёстких сроках отвечайте действием fallback при ошибках движка. |
| Назначение «sales_crm»: ошибкой завершились 12% доставок | Как минимум 10 доставок доставлено или завершилось ошибкой, и 5% или больше — с ошибкой; высокая начиная с 25%. | средняя, высокая | Откройте выполнение, чтобы прочитать ответ получателя, исправьте назначение и отправьте повторно. |
Калибровка шаг за шагом
Начните с верхней подсказки. Откройте Выполнения с фильтром по решению и прочитайте несколько запусков, стоящих за цифрой, — их входные данные, ответы и распределения.
Измените черновик в редакторе: описания вариантов, инструкции, критерии, порог, правило. Меняйте что-то одно за раз.
Повторите эти входные данные в Playground — Повторить эти входные данные в Playground из выполнения — и сравните с предыдущим запуском.
Опубликуйте и наблюдайте за следующими днями с фильтром трафика API: «Обзор» включает все версии периода, а Версии показывает, как запуски распределились между ними.
Пороги вроде minConfidence должны исходить из цены неверного ответа, а не только из доли fallback: маршрут возврата денег заслуживает более высокой планки, чем «отправить статью». См. Низкая уверенность и other и Как писать хорошие вопросы.
Калибровка по реальным исходам
«Обзор» измеряет, насколько движок уверен и последователен, — а не был ли он прав. Чтобы сравнить уверенность с реальными исходами, выгрузите запуски через GET /v1/executions и сопоставьте их с тем, что произошло в вашей системе.
Низкая уверенность и вариант other
Проектируйте решения, которые признают неопределённость, — зарезервированный вариант other, минимальная уверенность, политики уверенности, действие fallback, почти ничьи и fallback при ошибке движка.
Идемпотентные повторы
Готовый к продакшену клиент Dcision — ключи идемпотентности, тайм-ауты, какие ошибки повторять, экспоненциальная задержка с Retry-After — на JavaScript и Python.