Manejar baja confianza y other

Diseña decisiones que admitan la incertidumbre — la opción reservada other, la confianza mínima, las políticas de confianza, la acción de fallback, los casi empates y el fallback por error del motor.

Una decisión que siempre responde con seguridad miente parte del tiempo. Las probabilidades de Jev están calibradas, así que vale la pena actuar según su confianza, y Dcision te da cuatro herramientas para convertir la incertidumbre en un resultado explícito y enrutable en lugar de una respuesta equivocada silenciosa.

1. La opción other

Cada pregunta choice tiene una opción reservada other, agregada automáticamente como última opción ("ninguna de las opciones anteriores"). Permite que el motor diga que nada encaja en lugar de elegir la opción menos mala.

Cuando un choice responde other y ninguna política coincidió, la respuesta lleva la acción de fallback de la decisión:

{
  "result": { "route": "other" },
  "action": "escalate",
  "action_reason": { "type": "other_option", "question": "route" }
}

Describe other cuando "ninguna de estas" tenga un significado concreto para ti:

{ "value": "other", "description": "not a sales inquiry: job applications, partnerships, press" }

2. Confianza mínima

Define minConfidence en una pregunta para tratar como inciertas las respuestas que queden por debajo:

{
  "key": "route",
  "type": "choice",
  "instructions": "Which team should receive this lead?",
  "minConfidence": 0.8,
  "options": [ … ]
}
{
  "result": { "route": "sdr" },
  "confidence": { "route": 0.52 },
  "action": "escalate",
  "action_reason": { "type": "low_confidence", "question": "route", "confidence": 0.52, "minConfidence": 0.8 }
}

Empieza alrededor de 0.8 (el valor predeterminado del editor) para las preguntas choice y score y ajústalo con tráfico real. Para las preguntas probability, la confianza es |2p − 1|, la distancia respecto a lanzar una moneda: un minConfidence de 0.8 marca toda probabilidad entre 0.1 y 0.9, y 0.6 toda probabilidad entre 0.2 y 0.8 — consulta la tabla.

3. Políticas de confianza

Cuando distintas preguntas — o distintas respuestas — necesitan acciones diferentes, escribe reglas explícitas con "on": "confidence". Se ejecutan antes de las comprobaciones de other y de confianza mínima:

{ "field": "purchase_intent", "on": "confidence", "operator": "lt", "value": 0.6, "action": "escalate" }

En ese caso la respuesta dice { "type": "policy", "rule": 1 } (el índice de la regla, empezando en 0).

Combina una condición de confianza con una respuesta para dar a cada acción su propio umbral — una transferencia necesita más certeza que una consulta de saldo:

{
  "field": "intent",
  "on": "output",
  "operator": "eq",
  "value": "approve_transfer",
  "and": [{ "field": "intent", "on": "confidence", "operator": "lt", "value": 0.9 }],
  "action": "escalate"
}

Ese es el patrón de enrutamiento filtrado por confianza.

Los destinos pueden seguir la misma lógica: da a una ruta su propia confianza mínima, o envía cada escalate a una persona mediante un webhook, un workflow o una solicitud de API — consulta Disparadores.

4. La acción de fallback

settings.fallbackAction es la acción que se usa para las respuestas other, las que no alcanzan la confianza mínima y — si lo activas — los fallos del motor. Su valor predeterminado es escalate:

fallbackActionÚsala cuando los casos inciertos deban…
escalate (predeterminada)ir a una persona o a una cola de revisión
fallbackir a un camino más potente y más caro — un modelo grande, más recuperación
blockdescartarse (moderación estricta)
continueseguir de todos modos — la incertidumbre solo se registra

Todo junto

const decision = await response.json();
const reason = decision.action_reason;

switch (decision.action) {
  case "continue":
    return automate(decision.result);
  case "escalate": {
    const why =
      reason.type === "other_option"
        ? `no option fits "${reason.question}"`
        : reason.type === "low_confidence"
          ? `"${reason.question}" is only ${Math.round(reason.confidence * 100)}% sure`
          : reason.type === "engine_error"
            ? `the engine failed (${reason.code})`
            : `policy rule ${reason.rule + 1}`;
    return reviewQueue.add({ item, why, executionId: decision.execution_id });
  }
  case "fallback":
    return largeModel.handle(item);
  case "block":
    return reject(item);
}

Casi empates

Dos opciones pueden repartirse la masa de probabilidad — { "sales": 0.46, "sdr": 0.40 } — con una respuesta principal que supera un umbral bajo. El Playground marca estos casi empates (la segunda opción por encima del 20% y a menos de 15 puntos de la primera). Corrígelos en el origen: haz que las descripciones de las dos opciones sean mutuamente excluyentes, luego vuelve a ejecutar la misma entrada y revisa Comparado con la ejecución anterior. Usa ?include=probabilities para detectarlos en producción — consulta Confianza y probabilidades.

Errores del motor: un error o la acción de fallback

De forma predeterminada, la acción de fallback se aplica a las respuestas, no a los fallos: si el motor agota el tiempo o falla — después de los propios reintentos de Dcision —, la API devuelve un error (503, 504, …) y ninguna acción. Enruta los errores de forma explícita — la mayoría de las integraciones los tratan como escalate después de un reintento:

if (!response.ok) {
  const { error } = await response.json();
  if (["ENGINE_TIMEOUT", "ENGINE_UNAVAILABLE", "ENGINE_RATE_LIMITED"].includes(error.code)) {
    return retryLater(item); // or escalate
  }
  throw new Error(`${error.code}: ${error.message} (${error.request_id})`);
}

O deja que la decisión lo maneje: con "onEngineError": "fallback" en su configuración, un fallo del motor responde 200 con la acción de fallback y { "type": "engine_error", "code": "ENGINE_TIMEOUT" }, un result vacío, sin cargo — y el switch de arriba lo maneja como cualquier otro escalate. Reintentar más tarde con el mismo Idempotency-Key vuelve a llegar al motor. Consulta Configuración de la decisión.

Monitorízalo

  • La pestaña Resumen de la decisión mide las respuestas other, los casi empates, la baja confianza y el efecto de cada minConfidence por pregunta, y sugiere qué cambiar — consulta Resumen y calibración.
  • En Ejecuciones, abre las ejecuciones con escalate y lee su motivo: muchos motivos other_option significan que tus opciones no cubren un caso común; muchos motivos low_confidence en una pregunta significan que sus instrucciones o descripciones son vagas — consulta Escribir buenas preguntas.
  • Obtén los mismos datos desde el código con GET /v1/executions para graficar motivos y confianza a lo largo del tiempo y calibrar los umbrales según los resultados.
  • Vuelve a ejecutar esas entradas en el Playground después de cada cambio y luego despliega.

En esta página