Respostas de LLM

Deixe um modelo responder por uma rota — a Dcision chama o OpenRouter ou o Vercel AI Gateway com a chave do seu próprio workspace, o prompt da rota como mensagem de sistema e o estado como entrada.

Um destino LLM gera a resposta de uma rota. Quando ele dispara, a Dcision envia uma requisição de chat ao modelo que você escolheu — o prompt da rota como mensagem system, o estado (ou um template à sua escolha) como mensagem user — e devolve o texto do modelo na resposta.

É assim que uma decisão consegue rotear e responder: o Jev decide que uma mensagem é sobre cobrança, e o prompt de cobrança escreve a resposta.

Sua chave, seu provedor

As respostas de LLM rodam com a sua própria chave de provedor — nunca com a chave do engine da Dcision:

providerChamaChave
openrouter (padrão)POST https://openrouter.ai/api/v1/chat/completionsA sua chave OpenRouter
vercelPOST https://ai-gateway.vercel.sh/v1/chat/completionsA sua chave Vercel AI Gateway

Salve a chave em Configurações → Engine → Chaves de provedor — as mesmas chaves usadas para trazer a sua própria chave para o Jev; Admins e o Proprietário podem adicioná-las. Salvar uma chave não muda o engine: as decisões podem continuar rodando com a chave do engine da Dcision enquanto os destinos LLM delas usam a sua. O provedor cobra os tokens na sua conta; a Dcision não cobra por eles, e a decisão em si é cobrada normalmente.

Configure-o

{
  "key": "sales_llm",
  "type": "llm",
  "when": { "conditions": [{ "field": "route", "on": "output", "operator": "eq", "value": "sales" }] },
  "llm": {
    "provider": "openrouter",
    "model": "openai/gpt-5-mini",
    "instructions": "You are Acme's sales team. Answer the lead in two sentences, say that a person will follow up today and never quote prices.",
    "input": "{{state.message}}",
    "maxTokens": 300,
    "temperature": 0.3,
    "timeoutMs": 15000
  }
}
CampoTipoPadrãoDescrição
providerstringopenrouteropenrouter ou vercel.
modelstring—O ID do modelo no provedor, como openai/gpt-5-mini — letras, dígitos e . _ : / -, até 120 caracteres. O editor sugere alguns.
instructionsstring—O prompt da rota, enviado como mensagem de sistema: 1 a 8.000 caracteres, com variáveis.
inputstringo estado inteiroA mensagem do usuário: até 8.000 caracteres, com variáveis. Vazio envia o estado como texto — uma string como está, um objeto ou uma lista como JSON.
maxTokensinteger51216 a 2.048.
temperaturenumber0.30 a 2.
timeoutMsinteger200001.000 a 25.000: quanto tempo a Dcision espera pelo modelo.

Prompts e entradas usam a codificação de texto; segredos não podem ser usados neles.

Na resposta

Respondido
{
  "key": "sales_llm",
  "type": "llm",
  "status": "completed",
  "text": "Thanks for reaching out! Someone from our sales team will contact you today to talk about your 500 users.",
  "model": "openai/gpt-5-mini",
  "usage": { "input_tokens": 61, "output_tokens": 27 }
}

model é o modelo que o provedor informa, e usage os tokens que ele contou — os números do provedor, separados das metrics da própria decisão.

Quando a chamada não pode ser feita ou falha, a entrada diz isso e a decisão continua respondendo:

Com falha
{ "key": "sales_llm", "type": "llm", "status": "failed", "error": "Add your OpenRouter key in Settings → Engine to use LLM replies." }
errorCausa
Add your OpenRouter key in Settings → Engine to use LLM replies.Nenhuma chave salva para o provedor (a mensagem o nomeia).
OpenRouter answered 401: …O provedor recusou a requisição; a mensagem dele vem em seguida.
OpenRouter returned an empty answer.Nenhum texto na resposta do provedor.
No answer from OpenRouter within 15 s.O timeoutMs se esgotou.
Couldn't reach OpenRouter.Um erro de rede.

As chamadas de LLM são feitas uma vez — sem novas tentativas — e as falhas aparecem na Visão geral da decisão como destinos com falha.

Latência

Quem chamou espera pelas respostas de LLM: elas rodam depois da decisão, em paralelo com os outros destinos que esperam (agentes no modo sync), então a resposta chega depois do mais lento deles. Uma decisão pode fazer no máximo 3 chamadas desse tipo por execução; as demais são ignoradas com "reason": "limit".

Dê ao seu cliente HTTP um timeout que cubra o timeoutMs da decisão mais o maior timeoutMs de destino — por exemplo 5 s + 15 s + uma margem. Os SDKs esperam 30 segundos por tentativa por padrão. O metrics.latency_ms da resposta mede só a decisão: não inclui o tempo gasto nessas chamadas.

No Playground

As prévias mostram o prompt — provedor, modelo, as instruções e a mensagem renderizadas — sem chamar o modelo. Ligue Executar destinos de verdade para obter uma resposta real; veja Testando destinos.

Dados

A entrada — o estado inteiro, a menos que você defina input — é enviada ao provedor que você escolheu, sob a sua conta e os termos dele. Envie só o que a resposta precisa: "input": "{{state.message}}" em vez do estado inteiro.

Nesta página