Ответы LLM

Пусть за маршрут отвечает модель — Dcision вызывает OpenRouter или Vercel AI Gateway с собственным ключом вашего рабочего пространства, промптом маршрута как system-сообщением и состоянием как входом.

Назначение LLM генерирует ответ для маршрута. Когда оно срабатывает, Dcision отправляет chat-запрос выбранной вами модели — промпт маршрута как system-сообщение, состояние (или выбранный вами шаблон) как user-сообщение — и возвращает текст модели в ответе.

Так одно решение может и маршрутизировать, и отвечать: Jev решает, что сообщение касается оплаты, а промпт для оплаты пишет ответ.

Ваш ключ, ваш провайдер

Ответы LLM работают на вашем собственном ключе провайдера — никогда на ключе движка Dcision:

providerВызываетКлюч
openrouter (по умолчанию)POST https://openrouter.ai/api/v1/chat/completionsВаш ключ OpenRouter
vercelPOST https://ai-gateway.vercel.sh/v1/chat/completionsВаш ключ Vercel AI Gateway

Сохраните ключ в Настройки → Движок → Ключи провайдеров — это те же ключи, что используются, чтобы подключить собственный ключ для Jev; добавлять их могут администраторы и владелец. Сохранение ключа не меняет движок: решения могут и дальше работать на ключе движка Dcision, а их назначения LLM — использовать ваш. Провайдер выставляет счёт за токены вашему аккаунту; Dcision за них не берёт плату, а само решение тарифицируется как обычно.

Настройка

{
  "key": "sales_llm",
  "type": "llm",
  "when": { "conditions": [{ "field": "route", "on": "output", "operator": "eq", "value": "sales" }] },
  "llm": {
    "provider": "openrouter",
    "model": "openai/gpt-5-mini",
    "instructions": "You are Acme's sales team. Answer the lead in two sentences, say that a person will follow up today and never quote prices.",
    "input": "{{state.message}}",
    "maxTokens": 300,
    "temperature": 0.3,
    "timeoutMs": 15000
  }
}
ПолеТипПо умолчаниюОписание
providerstringopenrouteropenrouter или vercel.
modelstring—ID модели у провайдера, например openai/gpt-5-mini, — буквы, цифры и . _ : / -, до 120 символов. Редактор предлагает несколько вариантов.
instructionsstring—Промпт маршрута, отправляемый как system-сообщение: от 1 до 8 000 символов, с переменными.
inputstringвсё состояниеUser-сообщение: до 8 000 символов, с переменными. Если пусто, отправляется состояние в виде текста — строка как есть, объект или список как JSON.
maxTokensinteger512От 16 до 2 048.
temperaturenumber0.3От 0 до 2.
timeoutMsinteger20000От 1 000 до 25 000: сколько Dcision ждёт модель.

Промпты и входные данные используют текстовое кодирование; секреты в них использовать нельзя.

В ответе

Ответ получен
{
  "key": "sales_llm",
  "type": "llm",
  "status": "completed",
  "text": "Thanks for reaching out! Someone from our sales team will contact you today to talk about your 500 users.",
  "model": "openai/gpt-5-mini",
  "usage": { "input_tokens": 61, "output_tokens": 27 }
}

model — модель, которую сообщает провайдер, а usage — подсчитанные им токены; это цифры провайдера, отдельные от собственных metrics решения.

Если вызов невозможно выполнить или он не удался, запись сообщает об этом, а решение всё равно отвечает:

Ошибка
{ "key": "sales_llm", "type": "llm", "status": "failed", "error": "Add your OpenRouter key in Settings → Engine to use LLM replies." }
errorПричина
Add your OpenRouter key in Settings → Engine to use LLM replies.Для провайдера не сохранён ключ (сообщение называет провайдера).
OpenRouter answered 401: …Провайдер отклонил запрос; далее следует его собственное сообщение.
OpenRouter returned an empty answer.В ответе провайдера нет текста.
No answer from OpenRouter within 15 s.Истёк timeoutMs.
Couldn't reach OpenRouter.Сетевая ошибка.

Вызовы LLM выполняются один раз — без повторов, — а сбои отображаются на вкладке Обзор решения как неудавшиеся назначения.

Задержка

Вызывающая сторона ждёт ответов LLM: они выполняются после решения, параллельно с другими назначениями, которых нужно ждать (агенты в режиме sync), поэтому ответ приходит после самого медленного из них. Решение может сделать не больше 3 таких вызовов за выполнение; остальные пропускаются с "reason": "limit".

Задайте своему HTTP-клиенту таймаут, покрывающий timeoutMs решения плюс самый длинный timeoutMs назначения, — например 5 с + 15 с + запас. SDK по умолчанию ждут 30 секунд на попытку. metrics.latency_ms в ответе измеряет только решение: время этих вызовов в него не входит.

В Playground

Предпросмотр показывает промпт — провайдера, модель, подставленные инструкции и сообщение — без вызова модели. Включите Выполнять назначения по-настоящему, чтобы получить реальный ответ; см. Тестирование назначений.

Данные

Входные данные — всё состояние, если вы не задали input, — отправляются выбранному вами провайдеру, под вашим аккаунтом и на его условиях. Отправляйте только то, что нужно для ответа: "input": "{{state.message}}" вместо всего состояния.

На этой странице