Обзор и калибровка

Как читать вкладку «Обзор» решения — запуски, доля успешных, задержка, стоимость, действия, причины и статистика по вопросам — и действовать по каждой подсказке калибровки с её порогами.

Обзор — первая вкладка каждого решения. Она отвечает на три вопроса о выбранном периоде: работает ли решение, сколько оно стоит и где оно ошибается или колеблется — и что нужно изменить? Редактор находится на соседней вкладке Редактор; новые и дублированные решения открываются сразу в редакторе.

Выберите период — 7, 30 (по умолчанию) или 90 дней — и трафик: Весь трафик, API или Playground. «Обзор» видят все в рабочем пространстве, включая наблюдателей. Дни считаются в UTC.

Показатели

ПоказательЧто это
ЗапускиВсе выполнения за период — успешные и нет. Стрелка сравнивает их с предыдущим периодом той же длины (новое, если в нём запусков не было).
Доля успешныхДоля запусков без ошибки, вместе с числом ошибок. Становится красной начиная с 2% ошибок.
Задержка p50 · p95Медианная задержка и задержка 95-го перцентиля успешных запусков.
Входные токены / запускСреднее число входных токенов успешных запусков — от него зависят стоимость и задержка движка.
Стоимость движка (оценка)Сумма оценочной стоимости движка по запускам и количество версий, которые выполнялись за период.

Под ними:

  • Запуски в день — запуски и, пунктиром, ошибки.
  • Итоговое действие — доля каждого действия, которое получили вызывающие (успешные запуски и fallback из-за ошибок движка).
  • Почему — какая часть решения выбрала действие: Сработало правило политики, Ответ «other», Движок отказался отвечать (отказ), Ниже минимальной уверенности, Сбой движка → fallback или Ни одно правило не сработало (continue) — и сколько раз сработало каждое правило (Сработавшие правила: #1 × 120).
  • Ошибки — неудачные запуски по коду ошибки; каждый код открывает Выполнения с фильтром по ошибкам. Ошибки никогда не тарифицируются.
  • Трафик — запуски из API и Playground. Версии — запуски по каждой опубликованной версии и черновик для запусков в Playground.

Вопросы

По одной карточке на вопрос, по выборке из последних 2 000 успешных запусков периода. Статистике нужны ответы, поэтому она учитывает только запуски, сохранённые при включённом storeOutput решения.

МетрикаЧто показываетВыделяется начиная с
ОтветыДоля каждого варианта или уровня. Вопросы probability показывают распределение p(yes) по десятым долям, от 0 до 1.—
УверенностьГистограмма из 20 столбцов по 0.05, от 0 до 1. Уверенные ответы находятся справа.—
Средняя уверенностьСредняя уверенность ответов.ниже 0.6
Ниже минимумаДоля ответов ниже minConfidence вопроса — запуски, которые получают действие fallback, если раньше не сработала политика.20%
Почти ничьи (choice, score)Доля ответов, у которых два лучших варианта или уровня отличались меньше чем на 0.15, и пара, которую путали чаще всего.15%
Не определено (probability)Доля вероятностей между 0.35 и 0.65 — ни да, ни нет.30%
«other» (choice)Доля ответов, где не подошёл ни один вариант.10%
Среднее p(yes) (probability)Средняя вероятность ответа да.—

Настроить на каждой карточке открывает вопрос в редакторе.

Назначения

Для решений с назначениями таблица подсчитывает за период по каждому назначению:

СтолбецЧто считает
ВозвращеноОтветы, переданные обратно в ответе API, — функции, готовые ответы, ответы LLM и агентов.
ДоставленоУспешные доставки: вебхуки, API-запросы, workflow и передачи агентам.
С ошибкойНеудавшиеся доставки и неудавшиеся вызовы LLM или агентов.
В ожиданииДоставки, которые ещё ждут попытки.

Теневой режим

Для решений с settings.shadow карточка Теневой режим сравнивает основной движок с теневым на выбранных production-запусках периода (до 2 000 последних):

МетрикаЧто показывает
СовпадениеДоля теневых запусков, где каждый вопрос получил одинаковый ответ на обоих движках.
Теневые запускиСколько запусков сравнено и сколько завершились ошибкой на теневом движке — неудачные не сравниваются.
Задержка p50 тениМедианная задержка теневого движка, для сравнения с Задержкой p50 основного.
По вопросамСовпадение по каждому вопросу: зелёный от 90%, жёлтый от 70%, красный ниже.

Два ответа совпадают, когда вопрос choice выбрал тот же вариант, вопрос score — тот же уровень, а вопрос probability оказался по ту же сторону от 0,5 — оба выше или оба ниже. Вопрос, на который любой из движков отказался отвечать, не учитывается. Прежде чем переключить settings.engine, изучите доли по вопросам, которые используют ваши политики, — см. Сравнение и теневой запуск движков.

Подсказки по калибровке

Карточка Подсказки по калибровке превращает цифры в советы. Каждая подсказка приводит измерение, на котором она основана, чтобы вы могли его проверить, и ведёт к полю, которое нужно изменить, через Исправить в редакторе. Подсказки отсортированы по важности — высокая, средняя, низкая, инфо.

  • Если за период меньше 20 запусков, карточка лишь сообщает, что выборка мала, — никаких советов на основе шума.
  • Советам по вопросу также нужно 20 ответов этого вопроса в выборке.
  • Подсказки указывают на черновик — то, что вы редактируете, — или на опубликованную версию, если черновик недействителен.
ПодсказкаКогда показываетсяВажностьЧто делать
Статистика по вопросам выключенаРешение не сохраняет результаты.инфоВключите Сохранять результат в выполнениях, чтобы получать советы по вопросам.
Всего 12 запусков за этот периодМеньше 20 запусков.инфоЗапустите репрезентативные входные данные в Playground или отправьте реальный трафик.
5% запусков завершились ошибкой (чаще всего ENGINE_TIMEOUT, 41)Ошибкой завершились 2% запусков или больше — высокая начиная с 10%.средняя, высокаяПо коду: увеличьте timeoutMs или отвечайте действием fallback (ENGINE_TIMEOUT); распределите всплески или используйте свой ключ (ENGINE_RATE_LIMITED); включите fallback при ошибке движка (ENGINE_UNAVAILABLE); исправьте то, что отправляют вызывающие (INVALID_STATE); в остальных случаях изучите ошибки в разделе «Выполнения».
34% запусков заканчиваются действием fallback (escalate)30% запусков или больше получили действие fallback из-за other или низкой уверенности.средняяПрочитайте советы по вопросам, прежде чем ослаблять пороги.
«route» ответил «other» в 14% запусковВопрос choice ответил other в 10% своих ответов или больше — высокая начиная с 25%.средняя, высокаяПосмотрите эти выполнения; добавьте вариант для частого случая или расширьте описания.
«route» — почти ничья в 22% запусков (чаще всего «sales» или «sdr»)Два лучших ответа вопроса choice или score отличались меньше чем на 0.15 в 15% его ответов или больше — высокая начиная с 30%.средняя, высокаяПротивопоставьте два описания и добавьте исключения ("not for existing customers"); Jev склоняется к первому варианту, поэтому ставьте более конкретный первым. Для уровней опишите каждый конкретными критериями.
Средняя уверенность по «priority» — 0.52Средняя уверенность вопроса ниже 0.6.средняяЗадайте один буквальный вопрос, разделите составные, укажите важные поля состояния в обратных кавычках или добавьте фон в context.
minConfidence 0.8 отправляет 27% ответов «route» в escalate20% ответов вопроса или больше оказываются ниже его minConfidence.средняяКарточка моделирует долю ниже 0.5, 0.6, 0.7, 0.8 и 0.9 и называет самый высокий порог, при котором она остаётся не больше 10%. Снижайте порог, только если ответы около него обычно верны; иначе сначала улучшите вопрос.
Неуверенные ответы «route» могут запускать блокирующие правилаУ вопроса нет minConfidence, у решения есть правило block, и некоторые ответы оказываются ниже 0.7.низкаяЗадайте minConfidence, чтобы неуверенные ответы получали действие fallback, а не блокировались.
«purchase_intent» не определён (p между 0.35 и 0.65) в 31% запусковВероятность между 0.35 и 0.65 в 30% ответов или больше.средняяДобавьте критерии считается как да и считается как нет.
«route» ответил «sales» в 93% запусковОдин ответ вопроса choice или score встречается в 90% или больше как минимум из 50 ответов.низкаяЛибо трафик однороден, либо вопрос не различает случаи: уточните остальные варианты или удалите вопрос, чтобы сэкономить токены.
«spam» ни разу не выбран за 412 запусковВариант или уровень ни разу не был выбран как минимум за 200 ответов (кроме other).низкаяПроверьте его описание или удалите его, если такого случая не бывает.
Правило №3 (IF route eq spam THEN block) ни разу не сработало за 1 250 запусковКак минимум 100 запусков, и правило ни разу не сработало.низкаяВозможно, всегда побеждает более раннее правило, или значение недостижимо.
Правило №1 (…) срабатывает в 97% запусковКак минимум 100 запусков, и правило сработало в 95% из них или больше.низкаяПравило может быть шире, чем задумано, — у следующих правил нет шанса сработать.
В среднем 2 480 входных токенов на решениеВ среднем больше 2 000 входных токенов на запуск.низкаяСократите инструкции и context, объедините вопросы, отправляйте состояния меньшего размера.
Задержка p95 — 3.4 сЗадержка p95 выше 3 с.низкаяЗадержка растёт вместе с входными токенами; при жёстких сроках отвечайте действием fallback при ошибках движка.
Назначение «sales_crm»: ошибкой завершились 12% доставокКак минимум 10 доставок доставлено или завершилось ошибкой, и 5% или больше — с ошибкой; высокая начиная с 25%.средняя, высокаяОткройте выполнение, чтобы прочитать ответ получателя, исправьте назначение и отправьте повторно.

Калибровка шаг за шагом

Начните с верхней подсказки. Откройте Выполнения с фильтром по решению и прочитайте несколько запусков, стоящих за цифрой, — их входные данные, ответы и распределения.

Измените черновик в редакторе: описания вариантов, инструкции, критерии, порог, правило. Меняйте что-то одно за раз.

Повторите эти входные данные в Playground — Повторить эти входные данные в Playground из выполнения — и сравните с предыдущим запуском.

Опубликуйте и наблюдайте за следующими днями с фильтром трафика API: «Обзор» включает все версии периода, а Версии показывает, как запуски распределились между ними.

Пороги вроде minConfidence должны исходить из цены неверного ответа, а не только из доли fallback: маршрут возврата денег заслуживает более высокой планки, чем «отправить статью». См. Низкая уверенность и other и Как писать хорошие вопросы.

Калибровка по реальным исходам

«Обзор» измеряет, насколько движок уверен и последователен, — а не был ли он прав. Чтобы сравнить уверенность с реальными исходами, выгрузите запуски через GET /v1/executions и сопоставьте их с тем, что произошло в вашей системе.

На этой странице