Lidando com baixa confiança e other

Desenhe decisões que admitem incerteza — a opção reservada other, a confiança mínima, políticas de confiança, a ação de fallback, quase empates e o fallback por erro de engine.

Uma decisão que sempre responde com confiança está mentindo parte do tempo. As probabilidades do Jev são calibradas, então vale agir com base na confiança dele, e a Dcision oferece quatro ferramentas para transformar a incerteza num resultado explícito e roteável em vez de uma resposta errada silenciosa.

1. A opção other

Toda pergunta de choice tem uma opção reservada other, adicionada automaticamente como a última opção ("nenhuma das opções acima"). Ela permite ao engine dizer que nada serve em vez de escolher a opção menos errada.

Quando uma choice responde other e nenhuma política combinou, a resposta traz a ação de fallback da decisão:

{
  "result": { "route": "other" },
  "action": "escalate",
  "action_reason": { "type": "other_option", "question": "route" }
}

Descreva other quando "nenhuma destas" tiver um significado específico para você:

{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }

2. Confiança mínima

Defina minConfidence numa pergunta para tratar as respostas abaixo dele como incertas:

{
  "key": "route",
  "type": "choice",
  "instructions": "Which team should receive this lead?",
  "minConfidence": 0.8,
  "options": [ … ]
}
{
  "result": { "route": "sdr" },
  "confidence": { "route": 0.52 },
  "action": "escalate",
  "action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}

Comece por volta de 0.8 (o padrão do editor) para perguntas de choice e score e ajuste com tráfego real. Para perguntas de probability, a confiança é |2p − 1|, a distância de um cara ou coroa: um minConfidence de 0.8 sinaliza toda probabilidade entre 0.1 e 0.9, e 0.6 toda probabilidade entre 0.2 e 0.8 — veja a tabela.

3. Políticas de confiança

Quando perguntas diferentes — ou respostas diferentes — precisam de ações diferentes, escreva regras explícitas com "on": "confidence". Elas rodam antes das checagens de other e de confiança mínima:

{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }

A resposta então diz { "type": "policy", "rule": 1 } (o índice da regra, a partir de 0).

Combine uma condição de confiança com uma resposta para dar a cada ação o seu próprio limiar — uma transferência precisa de mais certeza do que uma consulta de saldo:

{
  "field": "intent",
  "on": "output",
  "operator": "eq",
  "value": "approve_transfer",
  "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
  "action": "escalate"
}

Esse é o padrão de roteamento por confiança.

Os destinos podem seguir a mesma lógica: dê a uma rota a sua própria confiança mínima, ou mande todo escalate para uma pessoa por um webhook, um workflow ou uma requisição de API — veja Gatilhos.

4. A ação de fallback

settings.fallbackAction é a ação usada para respostas other, para respostas abaixo da confiança mínima e — se você ativar — para falhas do engine. O padrão é escalate:

fallbackActionUse quando os casos incertos devem…
escalate (padrão)ir para uma pessoa ou uma fila de revisão
fallbackir para um caminho mais forte e mais caro — um modelo grande, mais recuperação
blockser descartados (moderação rígida)
continueseguir mesmo assim — a incerteza só é registrada

Juntando tudo

const decision = await response.json();
const reason = decision.action_reason;

switch (decision.action) {
  case "continue":
    return automate(decision.result);
  case "escalate": {
    const why =
      reason.type === "other_option"
        ? `no option fits "${reason.question}"`
        : reason.type === "low_confidence"
          ? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
          : reason.type === "engine_error"
            ? `the engine failed (${reason.code})`
            : `policy rule ${reason.rule + 1}`;
    return reviewQueue.add({ item, why, executionId: decision.execution_id });
  }
  case "fallback":
    return largeModel.handle(item);
  case "block":
    return reject(item);
}

Quase empates

Duas opções podem dividir a massa de probabilidade — { "sales": 0.46, "sdr": 0.40 } — com uma resposta principal que passa num limiar baixo. O Playground sinaliza esses quase empates (segunda colocada acima de 20% e menos de 15 pontos atrás). Corrija na origem: torne as descrições das duas opções mutuamente exclusivas, depois rode a mesma entrada de novo e confira Comparado com a execução anterior. Use ?include=probabilities para detectá-los em produção — veja Confiança e probabilidades.

Erros de engine: um erro ou a ação de fallback

Por padrão, a ação de fallback se aplica às respostas, não às falhas: se o engine estoura o tempo ou falha — depois dos retries da própria Dcision —, a API devolve um erro (503, 504, …) e nenhuma ação. Roteie os erros explicitamente — a maioria das integrações os trata como escalate depois de um retry:

if (!response.ok) {
  const { error } = await response.json();
  if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
    return retryLater(item); // or escalate
  }
  throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}

Ou deixe a decisão cuidar disso: com "onEngineError": "fallback" nas configurações dela, uma falha do engine responde 200 com a ação de fallback e { "type": "engine_error", "code": "ENGINE_TIMEOUT" }, um result vazio, sem cobrança — e o switch acima trata o caso como qualquer outro escalate. Tentar de novo depois com o mesmo Idempotency-Key chega de novo ao engine. Veja Configurações da decisão.

Monitore

  • A aba Visão geral da decisão mede as respostas other, os quase empates, a baixa confiança e o efeito de cada minConfidence por pergunta, e sugere o que mudar — veja Visão geral e calibração.
  • Em Execuções, abra as execuções com escalate e leia o motivo: muitos motivos other_option significam que as suas opções deixam de fora um caso comum; muitos motivos low_confidence numa mesma pergunta significam que as instruções ou as descrições dela são vagas — veja Escrevendo boas perguntas.
  • Puxe os mesmos dados por código com GET /v1/executions para traçar motivos e confiança ao longo do tempo e calibrar os limiares contra os resultados reais.
  • Rode essas entradas de novo no Playground depois de cada edição e, então, publique.

Nesta página