Resumen y calibración

Lee la pestaña Resumen de una decisión — ejecuciones, tasa de éxito, latencia, costo, acciones, motivos y estadísticas por pregunta — y actúa sobre cada sugerencia de calibración, con sus umbrales.

El Resumen es la primera pestaña de cada decisión. Responde tres preguntas sobre el período que elijas: ¿funciona?, ¿cuánto cuesta?, ¿dónde falla o duda — y qué debería cambiar? El editor está en la pestaña Editor, al lado; las decisiones nuevas y duplicadas se abren directamente en el editor.

Elige el período — 7, 30 (el predeterminado) o 90 días — y el tráfico: Todo el tráfico, API o Playground. Todos en el workspace pueden ver el Resumen, incluidos los Viewers. Los días se cuentan en UTC.

Indicadores

IndicadorQué es
EjecucionesTodas las ejecuciones del período — exitosas o no. La flecha lo compara con el período anterior de la misma duración (nuevo cuando ese no tuvo ninguna).
Tasa de éxitoLa proporción de ejecuciones sin error, con el número de errores. Se pone en rojo a partir de un 2% de errores.
Latencia p50 · p95La latencia mediana y del percentil 95 de las ejecuciones exitosas.
Tokens de entrada / ejecuciónEl promedio de tokens de entrada de las ejecuciones exitosas — lo que determina el costo y la latencia del motor.
Costo del motor (est.)La suma del costo estimado del motor de las ejecuciones, y cuántas versiones se ejecutaron en el período.

Debajo de ellos:

  • Ejecuciones por día — ejecuciones y, en línea punteada, errores.
  • Acción final — la proporción de cada acción que recibieron quienes llamaron (ejecuciones exitosas y fallbacks por error del motor).
  • Por qué — qué parte de la decisión eligió la acción: Coincidió una regla de política, Respondió “other”, El motor se negó a responder (un rechazo), Por debajo de la confianza mínima, El motor falló → fallback o Ninguna regla coincidió (continue) — y cuántas veces coincidió cada regla (Reglas que coincidieron: #1 × 120).
  • Errores — ejecuciones fallidas por código de error; cada código abre Ejecuciones filtradas por errores. Los errores nunca se facturan.
  • Tráfico — ejecuciones de la API y del Playground. Versiones — ejecuciones por versión desplegada, y el borrador para las ejecuciones del Playground.

Preguntas

Una tarjeta por pregunta, a partir de una muestra de las últimas 2,000 ejecuciones exitosas del período. Las estadísticas necesitan las respuestas, así que solo cubren las ejecuciones guardadas con el storeOutput de la decisión activado.

MétricaQué muestraResaltada a partir de
RespuestasLa proporción de cada opción o nivel. Las preguntas probability muestran la distribución de p(sí) en décimas, de 0 a 1.—
ConfianzaUn histograma de 20 barras de 0.05, de 0 a 1. Las respuestas seguras quedan a la derecha.—
Confianza mediaLa confianza promedio de las respuestas.por debajo de 0.6
Por debajo del mínimoLa proporción de respuestas por debajo del minConfidence de la pregunta — ejecuciones que reciben la acción de fallback salvo que antes haya coincidido una política.20%
Casi empates (choice, score)La proporción de respuestas cuyas dos opciones o niveles principales estuvieron a menos de 0.15 de distancia, y el par que se confunde con más frecuencia.15%
Indecisas (probability)La proporción de probabilidades entre 0.35 y 0.65 — ni sí ni no.30%
“other” (choice)La proporción de respuestas en las que ninguna opción encajó.10%
p(sí) media (probability)La probabilidad promedio de sí.—

Ajustar, en cada tarjeta, abre la pregunta en el editor.

Destinos

Para las decisiones con destinos, una tabla cuenta, por destino y para el período:

ColumnaCuenta
DevueltosRespuestas devueltas en la respuesta — funciones, respuestas fijas y respuestas de LLM y de agentes.
EntregadosEntregas que tuvieron éxito: webhooks, solicitudes de API, workflows y delegaciones a agentes.
FallidosEntregas que fallaron, y llamadas a LLM o agentes que fallaron.
PendientesEntregas que aún esperan un intento.

Modo sombra

Para las decisiones con settings.shadow, una tarjeta Modo sombra compara el motor principal con el motor sombra en las ejecuciones de producción muestreadas del período (hasta las 2,000 más recientes):

MétricaQué muestra
ConcordanciaLa proporción de ejecuciones sombra en las que cada pregunta obtuvo la misma respuesta en ambos motores.
Ejecuciones sombraCuántas ejecuciones se compararon, y cuántas fallaron en el motor sombra — las fallidas no se comparan.
Latencia p50 de la sombraLa latencia mediana del motor sombra, para compararla con la Latencia p50 del motor principal.
Por preguntaLa concordancia de cada pregunta, verde desde el 90%, ámbar desde el 70%, roja por debajo.

Dos respuestas coinciden cuando una pregunta choice eligió la misma opción, una pregunta score el mismo nivel, o una pregunta probability cayó del mismo lado de 0.5 — ambas por encima o ambas por debajo. Una pregunta que alguno de los motores se negó a responder no se cuenta. Revisa las tasas por pregunta de las preguntas que usan tus políticas antes de cambiar settings.engine — consulta Comparar motores y modo sombra.

Sugerencias de calibración

La tarjeta Sugerencias de calibración convierte los números en consejos. Cada sugerencia cita la medición en la que se basa, para que puedas verificarla, y enlaza al campo que hay que cambiar con Corregir en el editor. Se ordenan por gravedad — alta, media, baja, info.

  • Por debajo de 20 ejecuciones en el período, la tarjeta solo indica que la muestra es pequeña — sin consejos basados en ruido.
  • Los consejos por pregunta también necesitan 20 respuestas de esa pregunta en la muestra.
  • Las sugerencias apuntan al borrador — lo que editas — o a la versión desplegada cuando el borrador es inválido.
SugerenciaSe muestra cuandoGravedadQué hacer
Las estadísticas por pregunta están desactivadasLa decisión no guarda las salidas.infoActiva Guardar la salida para recibir consejos por pregunta.
Solo 12 ejecuciones en este períodoMenos de 20 ejecuciones.infoEjecuta entradas representativas en el Playground, o envía tráfico real.
El 5% de las ejecuciones falló (sobre todo ENGINE_TIMEOUT, 41)Falló el 2% o más de las ejecuciones — alta a partir del 10%.media, altaSegún el código: sube timeoutMs o responde con la acción de fallback (ENGINE_TIMEOUT); distribuye los picos o usa tu propia clave (ENGINE_RATE_LIMITED); activa el fallback por error del motor (ENGINE_UNAVAILABLE); corrige lo que envían quienes llaman (INVALID_STATE); en otro caso, lee los errores en Ejecuciones.
El 34% de las ejecuciones termina en la acción de fallback (escalate)El 30% o más de las ejecuciones recibió la acción de fallback por other o baja confianza.mediaLee los consejos por pregunta antes de relajar los umbrales.
“route” respondió “other” en el 14% de las ejecucionesUna pregunta choice respondió other en el 10% o más de sus respuestas — alta a partir del 25%.media, altaRevisa esas ejecuciones; agrega una opción para el caso frecuente o amplía las descripciones.
“route” está en casi empate en el 22% de las ejecuciones (sobre todo “sales” vs “sdr”)Las dos respuestas principales de una pregunta choice o score estuvieron a menos de 0.15 de distancia en el 15% o más de sus respuestas — alta a partir del 30%.media, altaContrasta las dos descripciones y agrega exclusiones ("no para clientes existentes"); Jev se inclina hacia la primera opción, así que pon primero la más específica. Para los niveles, describe cada uno con criterios concretos.
La confianza media en “priority” es 0.52La confianza promedio de una pregunta está por debajo de 0.6.mediaHaz una pregunta literal, divide las compuestas, señala con backticks los campos del state que importan, o agrega contexto en context.
minConfidence 0.8 envía el 27% de “route” a escalateEl 20% o más de las respuestas de una pregunta queda por debajo de su minConfidence.mediaLa tarjeta simula la proporción por debajo de 0.5, 0.6, 0.7, 0.8 y 0.9 e indica el umbral más alto que la mantiene en el 10% o menos. Baja el umbral solo si las respuestas cercanas a él suelen ser correctas; si no, mejora primero la pregunta.
Las respuestas inciertas de “route” pueden disparar reglas de bloqueoLa pregunta no tiene minConfidence, la decisión tiene una regla block y algunas respuestas quedan por debajo de 0.7.bajaDefine un minConfidence para que las respuestas inciertas reciban la acción de fallback en lugar de ser bloqueadas.
“purchase_intent” está indecisa (p entre 0.35 y 0.65) en el 31% de las ejecucionesUna probabilidad entre 0.35 y 0.65 en el 30% o más de sus respuestas.mediaAgrega criterios de cuenta como sí y cuenta como no.
“route” respondió “sales” en el 93% de las ejecucionesUna respuesta de una pregunta choice o score en el 90% o más de al menos 50 respuestas.bajaO el tráfico es uniforme o la pregunta no discrimina: afina las otras opciones, o quita la pregunta para ahorrar tokens.
“spam” nunca se eligió en 412 ejecucionesUna opción o nivel nunca se eligió en al menos 200 respuestas (sin contar other).bajaRevisa su descripción, o quítala si ese caso no ocurre.
La regla #3 (IF route eq spam THEN block) nunca coincidió en 1,250 ejecucionesAl menos 100 ejecuciones y una regla que nunca coincidió.bajaPuede que una regla anterior siempre gane, o que el valor sea inalcanzable.
La regla #1 (…) coincide en el 97% de las ejecucionesAl menos 100 ejecuciones y una regla que coincidió en el 95% o más de ellas.bajaLa regla puede ser más amplia de lo previsto — las reglas posteriores nunca tienen oportunidad.
2,480 tokens de entrada por decisión en promedioMás de 2,000 tokens de entrada por ejecución en promedio.bajaAcorta las instrucciones y el context, fusiona preguntas, envía states más pequeños.
La latencia p95 es de 3.4 sLa latencia p95 supera los 3 s.bajaLa latencia crece con los tokens de entrada; con plazos ajustados, responde con la acción de fallback ante errores del motor.
El destino “sales_crm” falló en el 12% de las entregasAl menos 10 entregas entregadas o fallidas, y el 5% o más falló — alta a partir del 25%.media, altaAbre una ejecución para leer la respuesta del receptor, corrige el destino y reenvía.

Calibra, paso a paso

Empieza por la primera sugerencia. Abre Ejecuciones filtradas por la decisión y lee algunas de las ejecuciones detrás del número — sus entradas, respuestas y distribuciones.

Cambia el borrador en el editor: descripciones de las opciones, instrucciones, criterios, un umbral, una regla. Cambia una cosa a la vez.

Repite esas entradas en el Playground — Volver a ejecutar esta entrada en el Playground desde una ejecución — y compara con la ejecución anterior.

Despliega y observa los días siguientes con el filtro de tráfico API: el Resumen incluye todas las versiones del período, y Versiones muestra cómo se reparten las ejecuciones entre ellas.

Umbrales como minConfidence deberían seguir el costo de una respuesta equivocada, no solo la tasa de fallback: una ruta de reembolso merece un listón más alto que "enviar un artículo". Consulta Manejar la baja confianza y other y Escribir buenas preguntas.

Calibración con resultados reales

El Resumen mide qué tan seguro y qué tan consistente es el motor — no si acertó. Para comparar la confianza con los resultados reales, exporta las ejecuciones con GET /v1/executions y crúzalas con lo que pasó en tu sistema.

En esta página