Ответы LLM
Пусть за маршрут отвечает модель — Dcision вызывает OpenRouter или Vercel AI Gateway с собственным ключом вашего рабочего пространства, промптом маршрута как system-сообщением и состоянием как входом.
Назначение LLM генерирует ответ для маршрута. Когда оно срабатывает, Dcision отправляет chat-запрос выбранной вами модели — промпт маршрута как system-сообщение, состояние (или выбранный вами шаблон) как user-сообщение — и возвращает текст модели в ответе.
Так одно решение может и маршрутизировать, и отвечать: Jev решает, что сообщение касается оплаты, а промпт для оплаты пишет ответ.
Ваш ключ, ваш провайдер
Ответы LLM работают на вашем собственном ключе провайдера — никогда на ключе движка Dcision:
provider | Вызывает | Ключ |
|---|---|---|
openrouter (по умолчанию) | POST https://openrouter.ai/api/v1/chat/completions | Ваш ключ OpenRouter |
vercel | POST https://ai-gateway.vercel.sh/v1/chat/completions | Ваш ключ Vercel AI Gateway |
Сохраните ключ в Настройки → Движок → Ключи провайдеров — это те же ключи, что используются, чтобы подключить собственный ключ для Jev; добавлять их могут администраторы и владелец. Сохранение ключа не меняет движок: решения могут и дальше работать на ключе движка Dcision, а их назначения LLM — использовать ваш. Провайдер выставляет счёт за токены вашему аккаунту; Dcision за них не берёт плату, а само решение тарифицируется как обычно.
Настройка
{
"key": "sales_llm",
"type": "llm",
"when": { "conditions": [{ "field": "route", "on": "output", "operator": "eq", "value": "sales" }] },
"llm": {
"provider": "openrouter",
"model": "openai/gpt-5-mini",
"instructions": "You are Acme's sales team. Answer the lead in two sentences, say that a person will follow up today and never quote prices.",
"input": "{{state.message}}",
"maxTokens": 300,
"temperature": 0.3,
"timeoutMs": 15000
}
}| Поле | Тип | По умолчанию | Описание |
|---|---|---|---|
provider | string | openrouter | openrouter или vercel. |
model | string | — | ID модели у провайдера, например openai/gpt-5-mini, — буквы, цифры и . _ : / -, до 120 символов. Редактор предлагает несколько вариантов. |
instructions | string | — | Промпт маршрута, отправляемый как system-сообщение: от 1 до 8 000 символов, с переменными. |
input | string | всё состояние | User-сообщение: до 8 000 символов, с переменными. Если пусто, отправляется состояние в виде текста — строка как есть, объект или список как JSON. |
maxTokens | integer | 512 | От 16 до 2 048. |
temperature | number | 0.3 | От 0 до 2. |
timeoutMs | integer | 20000 | От 1 000 до 25 000: сколько Dcision ждёт модель. |
Промпты и входные данные используют текстовое кодирование; секреты в них использовать нельзя.
В ответе
{
"key": "sales_llm",
"type": "llm",
"status": "completed",
"text": "Thanks for reaching out! Someone from our sales team will contact you today to talk about your 500 users.",
"model": "openai/gpt-5-mini",
"usage": { "input_tokens": 61, "output_tokens": 27 }
}model — модель, которую сообщает провайдер, а usage — подсчитанные им токены; это цифры провайдера, отдельные от собственных metrics решения.
Если вызов невозможно выполнить или он не удался, запись сообщает об этом, а решение всё равно отвечает:
{ "key": "sales_llm", "type": "llm", "status": "failed", "error": "Add your OpenRouter key in Settings → Engine to use LLM replies." }error | Причина |
|---|---|
| Add your OpenRouter key in Settings → Engine to use LLM replies. | Для провайдера не сохранён ключ (сообщение называет провайдера). |
| OpenRouter answered 401: … | Провайдер отклонил запрос; далее следует его собственное сообщение. |
| OpenRouter returned an empty answer. | В ответе провайдера нет текста. |
| No answer from OpenRouter within 15 s. | Истёк timeoutMs. |
| Couldn't reach OpenRouter. | Сетевая ошибка. |
Вызовы LLM выполняются один раз — без повторов, — а сбои отображаются на вкладке Обзор решения как неудавшиеся назначения.
Задержка
Вызывающая сторона ждёт ответов LLM: они выполняются после решения, параллельно с другими назначениями, которых нужно ждать (агенты в режиме sync), поэтому ответ приходит после самого медленного из них. Решение может сделать не больше 3 таких вызовов за выполнение; остальные пропускаются с "reason": "limit".
Задайте своему HTTP-клиенту таймаут, покрывающий timeoutMs решения плюс самый длинный timeoutMs назначения, — например 5 с + 15 с + запас. SDK по умолчанию ждут 30 секунд на попытку. metrics.latency_ms в ответе измеряет только решение: время этих вызовов в него не входит.
В Playground
Предпросмотр показывает промпт — провайдера, модель, подставленные инструкции и сообщение — без вызова модели. Включите Выполнять назначения по-настоящему, чтобы получить реальный ответ; см. Тестирование назначений.
Данные
Входные данные — всё состояние, если вы не задали input, — отправляются выбранному вами провайдеру, под вашим аккаунтом и на его условиях. Отправляйте только то, что нужно для ответа: "input": "{{state.message}}" вместо всего состояния.
Структурированный вывод
Возвращайте JSON-объект, который ваша система использует как есть, или экран, который отображает ваше приложение, — собранный из результата (без модели) или LLM и всегда проверенный перед выходом из Dcision.
Агенты
Передайте результат endpoint'у вашего собственного агента с инструкциями и инструментами маршрута — дождитесь его ответа в ответе API или передайте работу в фоне с повторными попытками.