Roteamento por confiança

Use a confiança como um segundo eixo — a resposta diz o quê, a confiança diz se vale agir — com confiança mínima por pergunta e regras AND por ação. Baseado no template de comandos bancários por voz.

Use a confiança como um segundo eixo: a resposta diz o quê, a confiança diz se vale agir com base nela. Algumas ações são mais arriscadas que outras, então precisam de mais certeza antes que o seu sistema aja sozinho.

Benefícios: confiabilidade e segurança. Guia da TypeSafe: Confidence-gated routing.

Por que funciona

O Jev é treinado para devolver probabilidades calibradas: entre muitas respostas, as que recebem cerca de 80% devem acertar cerca de 80% das vezes. Toda resposta traz uma confiança entre 0 e 1 derivada dessa distribuição — 1 quando toda a probabilidade está numa resposta, 0 quando ela está distribuída por igual. "Não tenho certeza" vira um número com que o seu sistema consegue rotear, em vez de uma resposta errada dita com confiança.

Um bom ponto de partida são três caminhos:

ConfiançaComportamento
AltaAgir automaticamente.
MédiaSeguir com cautela: pedir confirmação ao usuário, sinalizar para revisão ou reunir mais informação.
BaixaNão agir: encaminhar para uma pessoa, pedir esclarecimento ou recorrer a outro sistema.

Onde ficam os limites depende do que está em jogo: os limiares acompanham o risco. Ler um saldo com 60% de confiança é aceitável — o pior caso é uma tela errada. Aprovar uma transferência, não.

Quando usar

Qualquer ação com consequências: pagamentos, mudanças de conta, exclusões, mensagens enviadas em nome de alguém, moderação que remove conteúdo. Combine com o roteamento por intenção: a intenção escolhe o handler, a confiança decide se o handler pode agir sozinho.

Como isso se traduz na Dcision

No guia da TypeSafeNa Dcision
if action.confidence < 0.6: route_to_support_agent()minConfidence: 0.6 na pergunta — abaixo disso, a decisão devolve a ação de fallback (escalate) com action_reason.type = "low_confidence"
elif choice == "approve_transfer" and confidence > 0.85: approve()Uma regra por ação arriscada: intent = approve_transfer AND confiança de intent abaixo de 0.9 → escalate
else: ask_user_to_confirm()O seu código mapeia o escalate dessa regra para "pedir confirmação ao usuário"
Uma opção pega-tudoA opção reservada other, que também devolve a ação de fallback

As regras rodam primeiro, depois a checagem de other, depois minConfidence — veja Como a ação é calculada.

Monte

No app

Abra Templates e escolha Comandos bancários por voz (com limiar de confiança). Dê à decisão o nome Voice Banking para que o slug seja voice-banking e clique em Criar decisão.

O Estado é Texto: a transcrição de fala para texto do comando.

A única pergunta, intent, é uma choice: check_balance (só leitura), transfer_money, approve_transfer, block_card e o reservado other. A Confiança mínima dela está ligada, em 60% — o piso para qualquer ação.

Em Políticas, uma regra por ação arriscada, usando a confiança da pergunta como segunda condição:

  1. IF intent · resposta · = · approve_transfer, + AND intent · confiança · < · 0.9 — THEN escalate.
  2. IF intent · resposta · = · transfer_money, + AND intent · confiança · < · 0.8 — THEN escalate.

Em Engine e runtime, mantenha a Ação de fallback em escalate. Para um canal de voz que precisa sempre responder, considere Se o engine falhar → Responder com a ação de fallback (veja Configurações da decisão). Teste e clique em Publicar v1.

O decision schema

{
  "stateSchema": { "kind": "text" },
  "questions": [
    {
      "key": "intent",
      "type": "choice",
      "instructions": "What does the customer want to do with their account?",
      "minConfidence": 0.6,
      "options": [
        { "value": "check_balance", "description": "hear the balance or recent transactions (read-only)" },
        { "value": "transfer_money", "description": "start a new transfer to someone" },
        { "value": "approve_transfer", "description": "confirm a transfer that is waiting for approval" },
        { "value": "block_card", "description": "block or freeze a card" }
      ]
    }
  ],
  "policies": [
    {
      "field": "intent",
      "on": "output",
      "operator": "eq",
      "value": "approve_transfer",
      "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
      "action": "escalate"
    },
    {
      "field": "intent",
      "on": "output",
      "operator": "eq",
      "value": "transfer_money",
      "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.8 }],
      "action": "escalate"
    }
  ],
  "settings": { "fallbackAction": "escalate" }
}

Chame-a

O estado é a transcrição, como uma string:

curl -X POST https://api.dcision.io/v1/decisions/voice-banking \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": "Yeah, go ahead and approve that payment to my landlord." }'
200 OK
{
  "decision_id": "dec_Wb3Kq9Tz1Lm7Xv5Rn2Hd",
  "execution_id": "exec_Pz8Nc4Wq1Ht6Ks3Lm9Vb",
  "schema": "voice-banking",
  "version": 1,
  "result": { "intent": "approve_transfer" },
  "confidence": { "intent": 0.8125 },
  "action": "escalate",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": {
    "latency_ms": 248,
    "engine": "jev",
    "model": "jev-1.13.0",
    "estimated_cost_usd": 0.00001008,
    "input_tokens": 240,
    "output_tokens": 14
  }
}

A intenção é clara o bastante para passar do piso de 60%, mas aprovar uma transferência exige 90%: a regra 0 escala. A mesma decisão com outros comandos:

Comandoresult.intentconfidence.intentactionaction_reason
"Yeah, go ahead and approve that payment to my landlord."approve_transfer0.8125escalate{ "type": "policy", "rule": 0 }
"What's my balance?"check_balance0.95continue{ "type": "default" }
"Uh, the thing from before, with the money"check_balance0.4escalate{ "type": "low_confidence", "question": "intent", "confidence": 0.4, "minConfidence": 0.6 }
"Change my mailing address"other0.9escalate{ "type": "other_option", "question": "intent" }

Aja sobre o resultado

action_reason distingue os dois tipos de escalate: uma regra disparou porque uma ação arriscada não tinha certeza suficiente — confirme —, ou a decisão não entendeu — passe adiante:

const decision = await response.json();
const { action, action_reason: reason, result } = decision;

if (action === "continue") return perform(result.intent, account);

if (reason.type === "policy") {
  // A risky intent below its threshold: verify instead of acting.
  return voice.ask(`Just to confirm: you want to ${describe(result.intent)}, is that right?`);
}
return transferToAgent(call, { reason }); // low_confidence, other_option or engine_error

Ajuste

  • Comece conservador, depois meça. Puxe as execuções recentes com GET /v1/executions ou pela tela Execuções, compare confidence com o que realmente aconteceu e mova cada limiar separadamente.
  • Uma regra por nível de risco. Uma decisão tem até 50 regras com até 5 condições and cada — o suficiente para um limiar por ação, por faixa de cliente ou por faixa de valor calculada no seu código.
  • Revise os limiares quando as opções mudarem. A confiança de uma choice mede o quanto a opção principal fica acima de uma divisão por igual entre todas as opções, other incluída: adicionar ou remover opções muda a escala.
  • Perguntas de probability têm outra confiança. Para uma probabilidade de sim/não, a confiança é |2p − 1|: um minConfidence de 0.6 sinaliza todo p entre 0.2 e 0.8 — veja Confiança e probabilidades.
  • Mantenha os erros no mesmo caminho. Com onEngineError: "fallback", uma queda do engine responde escalate com action_reason.type = "engine_error" em vez de um erro HTTP — tratado acima pela última linha.

Relacionados: Lidando com baixa confiança e other · Roteamento por intenção

Nesta página