Lidando com baixa confiança e other
Desenhe decisões que admitem incerteza — a opção reservada other, a confiança mínima, políticas de confiança, a ação de fallback, quase empates e o fallback por erro de engine.
Uma decisão que sempre responde com confiança está mentindo parte do tempo. As probabilidades do Jev são calibradas, então vale agir com base na confiança dele, e a Dcision oferece quatro ferramentas para transformar a incerteza num resultado explícito e roteável em vez de uma resposta errada silenciosa.
1. A opção other
Toda pergunta de choice tem uma opção reservada other, adicionada automaticamente como a última opção ("nenhuma das opções acima"). Ela permite ao engine dizer que nada serve em vez de escolher a opção menos errada.
Quando uma choice responde other e nenhuma política combinou, a resposta traz a ação de fallback da decisão:
{
"result": { "route": "other" },
"action": "escalate",
"action_reason": { "type": "other_option", "question": "route" }
}Descreva other quando "nenhuma destas" tiver um significado específico para você:
{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }2. Confiança mínima
Defina minConfidence numa pergunta para tratar as respostas abaixo dele como incertas:
{
"key": "route",
"type": "choice",
"instructions": "Which team should receive this lead?",
"minConfidence": 0.8,
"options": [ … ]
}{
"result": { "route": "sdr" },
"confidence": { "route": 0.52 },
"action": "escalate",
"action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}Comece por volta de 0.8 (o padrão do editor) para perguntas de choice e score e ajuste com tráfego real. Para perguntas de probability, a confiança é |2p − 1|, a distância de um cara ou coroa: um minConfidence de 0.8 sinaliza toda probabilidade entre 0.1 e 0.9, e 0.6 toda probabilidade entre 0.2 e 0.8 — veja a tabela.
3. Políticas de confiança
Quando perguntas diferentes — ou respostas diferentes — precisam de ações diferentes, escreva regras explícitas com "on": "confidence". Elas rodam antes das checagens de other e de confiança mínima:
{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }A resposta então diz { "type": "policy", "rule": 1 } (o índice da regra, a partir de 0).
Combine uma condição de confiança com uma resposta para dar a cada ação o seu próprio limiar — uma transferência precisa de mais certeza do que uma consulta de saldo:
{
"field": "intent",
"on": "output",
"operator": "eq",
"value": "approve_transfer",
"and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
"action": "escalate"
}Esse é o padrão de roteamento por confiança.
Os destinos podem seguir a mesma lógica: dê a uma rota a sua própria confiança mínima, ou mande todo escalate para uma pessoa por um webhook, um workflow ou uma requisição de API — veja Gatilhos.
4. A ação de fallback
settings.fallbackAction é a ação usada para respostas other, para respostas abaixo da confiança mínima e — se você ativar — para falhas do engine. O padrão é escalate:
fallbackAction | Use quando os casos incertos devem… |
|---|---|
escalate (padrão) | ir para uma pessoa ou uma fila de revisão |
fallback | ir para um caminho mais forte e mais caro — um modelo grande, mais recuperação |
block | ser descartados (moderação rígida) |
continue | seguir mesmo assim — a incerteza só é registrada |
Juntando tudo
const decision = await response.json();
const reason = decision.action_reason;
switch (decision.action) {
case "continue":
return automate(decision.result);
case "escalate": {
const why =
reason.type === "other_option"
? `no option fits "${reason.question}"`
: reason.type === "low_confidence"
? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
: reason.type === "engine_error"
? `the engine failed (${reason.code})`
: `policy rule ${reason.rule + 1}`;
return reviewQueue.add({ item, why, executionId: decision.execution_id });
}
case "fallback":
return largeModel.handle(item);
case "block":
return reject(item);
}Quase empates
Duas opções podem dividir a massa de probabilidade — { "sales": 0.46, "sdr": 0.40 } — com uma resposta principal que passa num limiar baixo. O Playground sinaliza esses quase empates (segunda colocada acima de 20% e menos de 15 pontos atrás). Corrija na origem: torne as descrições das duas opções mutuamente exclusivas, depois rode a mesma entrada de novo e confira Comparado com a execução anterior. Use ?include=probabilities para detectá-los em produção — veja Confiança e probabilidades.
Erros de engine: um erro ou a ação de fallback
Por padrão, a ação de fallback se aplica às respostas, não às falhas: se o engine estoura o tempo ou falha — depois dos retries da própria Dcision —, a API devolve um erro (503, 504, …) e nenhuma ação. Roteie os erros explicitamente — a maioria das integrações os trata como escalate depois de um retry:
if (!response.ok) {
const { error } = await response.json();
if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
return retryLater(item); // or escalate
}
throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}Ou deixe a decisão cuidar disso: com "onEngineError": "fallback" nas configurações dela, uma falha do engine responde 200 com a ação de fallback e { "type": "engine_error", "code": "ENGINE_TIMEOUT" }, um result vazio, sem cobrança — e o switch acima trata o caso como qualquer outro escalate. Tentar de novo depois com o mesmo Idempotency-Key chega de novo ao engine. Veja Configurações da decisão.
Monitore
- A aba Visão geral da decisão mede as respostas
other, os quase empates, a baixa confiança e o efeito de cadaminConfidencepor pergunta, e sugere o que mudar — veja Visão geral e calibração. - Em Execuções, abra as execuções com
escalatee leia o motivo: muitos motivosother_optionsignificam que as suas opções deixam de fora um caso comum; muitos motivoslow_confidencenuma mesma pergunta significam que as instruções ou as descrições dela são vagas — veja Escrevendo boas perguntas. - Puxe os mesmos dados por código com
GET /v1/executionspara traçar motivos e confiança ao longo do tempo e calibrar os limiares contra os resultados reais. - Rode essas entradas de novo no Playground depois de cada edição e, então, publique.
Escrevendo boas perguntas
Formule instruções, opções e critérios que o Jev responde com confiabilidade — redação literal, matemática e datas no código, menos indireção, um estado filtrado, ordem das opções e nada de gerar texto.
Visão geral e calibragem
Leia a aba Visão geral de uma decisão — execuções, taxa de sucesso, latência, custo, ações, motivos e estatísticas por pergunta — e aja sobre cada sugestão de calibragem, com os limiares por trás dela.