Playground

Тестируйте черновики — включая несохранённые правки — на реальных данных, читайте уверенность и распределения, просматривайте назначения, сравнивайте запуски и движки и повторяйте прошлые входные данные.

Playground выполняет черновик решения на заданном вами состоянии (state) и показывает всё, что вернул бы API, а также полные распределения. Используйте его, чтобы дорабатывать инструкции и описания вариантов до публикации.

Откройте его на вкладке Playground решения или через Playground в боковой панели, выбрав там решение. На этой странице решение, чей slug совпадает с id шаблона — например, lead-qualification, — начинается с примера state из шаблона.

Что он выполняет

Playground выполняет черновик, а не опубликованную версию. На вкладке Playground решения он выполняет даже правки, которые вы ещё не сохранили, и блокируется, пока в черновике есть проблемы схемы; страница Playground в боковой панели выполняет последний сохранённый черновик. Когда решение в работе, заголовок напоминает, что в продакшене остаётся активная версия.

Запуск state

  1. Напишите state в формате JSON. Для объектного state — объект; для текстового state — JSON-строку, например "Hi, I'd like pricing for 50 seats."; для state-списка — массив, например ["Hi!", "We're a team of 50 and want pricing."].
  2. Используйте Пример, чтобы сгенерировать state по схеме state, и Форматировать, чтобы отформатировать его. Редактор показывает размер в байтах и корректность JSON.
  3. Для полей image, audio и file прикрепите файлы в разделе Файлы — или нажмите Записать у аудиополя, чтобы записать голосовое сообщение. Они добавляются в state при запуске; см. Входные данные.
  4. Нажмите Запустить решение или ⌘/Ctrl + Enter.

Чтение результата

  • Типизированный result, значок действия и причина простыми словами — Сработало правило политики №1, «route» ответил «other» (ни один вариант не подходит), Уверенность «route» 52% < 80%, Движок недоступен (ENGINE_TIMEOUT); применён fallback или Ни одно правило не сработало.
  • Полоса уверенности для каждого вопроса. Раскройте её, чтобы увидеть распределение по всем вариантам или уровням, а для вопроса score — его взвешенный уровень (1 = первый уровень), число, с которым сравниваются правила по взвешенному уровню. Вопросы с почти ничьей или с уверенностью ниже минимальной раскрываются автоматически.
  • Карточка Композиты со значением каждого композита.
  • Задержка, модель, оценка стоимости с входными токенами и ссылка на выполнение.

Когда движок даёт сбой в решении с onEngineError: "fallback", предупреждение сообщает, что решение ответило своим fallback-действием и что вызов не тарифицируется.

Назначения

Для решений с назначениями результат заканчивается карточкой Назначения. По умолчанию это предпросмотр, и ничего не покидает Dcision: фиксированные ответы отображаются, LLM-назначения показывают промпт, который они отправили бы, а вебхуки, API-запросы, workflow и агенты показывают точный запрос — с секретами, замаскированными как ••••.

Включите Выполнять назначения по-настоящему рядом с Запустить решение, чтобы вызвать LLM и агентов и отправить доставки с пометкой livemode: false. Тогда карточка отслеживает каждую доставку — отправка, повтор, доставлено или ошибка — и при ошибках предлагает Отправить повторно. См. Тестирование назначений.

Сравнение запусков

Начиная со второго запуска, блок Сравнение с предыдущим запуском перечисляет каждый ответ и действие до и после, выделяя то, что изменилось, — самый быстрый способ увидеть эффект переформулированной инструкции или описания варианта.

Сравнить движки

Сравнить движки, рядом с Запустить решение, запускает одно и то же state и один и тот же черновик сразу на Jev, Laya и OpenAI Decisions. Затем карточка Движки рядом показывает для каждого движка:

  • ответ на каждый вопрос с его уверенностью;
  • действие;
  • задержку и оценочную стоимость;
  • код ошибки, если движок дал сбой, — ENGINE_NOT_CONFIGURED для движка, который не настроен в Настройки → Движок.

Строки, где движки расходятся, выделены. Это считается тремя запусками в Playground, каждый записывается в Выполнениях, а назначения никогда не доставляются — даже с включённым Выполнять назначения по-настоящему. Чтобы сравнить движки на production-трафике, используйте теневой режим; см. Сравнение и теневой запуск движков.

Повтор прошлых входных данных

В Выполнениях откройте запуск и нажмите Повторить эти входные данные в Playground: сохранённый state загружается в Playground этого решения, готовый к запуску на текущем черновике. Это быстрый регрессионный тест после правки.

Для повтора нужны сохранённые входные данные, поэтому он недоступен для выполнений решений с выключенным storeInput.

Фрагменты кода

Под результатом Playground выводит тот же вызов в виде cURL, TypeScript и Python для текущего state. Они обращаются к опубликованному эндпоинту, поэтому работают, когда решение опубликовано и у вас есть API-ключ.

Ограничения и стоимость

  • Запуски в Playground не тарифицируются ни на одном тарифе и не расходуют ваш месячный объём.
  • Они выполняются с настройками движка вашего рабочего пространства: при вашем собственном ключе провайдера их оплачивает провайдер.
  • До 30 запусков в минуту и 2 000 запусков в день на рабочее пространство; сверх этого вы получаете 429 RATE_LIMITED — для объёма используйте API-ключ.
  • Каждый запуск записывается в Выполнения с источником Playground и версией черновик.
  • Для запуска Playground нужна роль «Участник» или выше: наблюдатели могут открыть его, но не запустить — см. Команда, роли и аккаунт.

На этой странице