Resumen y calibración
Lee la pestaña Resumen de una decisión — ejecuciones, tasa de éxito, latencia, costo, acciones, motivos y estadísticas por pregunta — y actúa sobre cada sugerencia de calibración, con sus umbrales.
El Resumen es la primera pestaña de cada decisión. Responde tres preguntas sobre el período que elijas: ¿funciona?, ¿cuánto cuesta?, ¿dónde falla o duda — y qué debería cambiar? El editor está en la pestaña Editor, al lado; las decisiones nuevas y duplicadas se abren directamente en el editor.
Elige el período — 7, 30 (el predeterminado) o 90 días — y el tráfico: Todo el tráfico, API o Playground. Todos en el workspace pueden ver el Resumen, incluidos los Viewers. Los días se cuentan en UTC.
Indicadores
| Indicador | Qué es |
|---|---|
| Ejecuciones | Todas las ejecuciones del período — exitosas o no. La flecha lo compara con el período anterior de la misma duración (nuevo cuando ese no tuvo ninguna). |
| Tasa de éxito | La proporción de ejecuciones sin error, con el número de errores. Se pone en rojo a partir de un 2% de errores. |
| Latencia p50 · p95 | La latencia mediana y del percentil 95 de las ejecuciones exitosas. |
| Tokens de entrada / ejecución | El promedio de tokens de entrada de las ejecuciones exitosas — lo que determina el costo y la latencia del motor. |
| Costo del motor (est.) | La suma del costo estimado del motor de las ejecuciones, y cuántas versiones se ejecutaron en el período. |
Debajo de ellos:
- Ejecuciones por día — ejecuciones y, en línea punteada, errores.
- Acción final — la proporción de cada acción que recibieron quienes llamaron (ejecuciones exitosas y fallbacks por error del motor).
- Por qué — qué parte de la decisión eligió la acción: Coincidió una regla de política, Respondió “other”, El motor se negó a responder (un rechazo), Por debajo de la confianza mínima, El motor falló → fallback o Ninguna regla coincidió (continue) — y cuántas veces coincidió cada regla (Reglas que coincidieron: #1 × 120).
- Errores — ejecuciones fallidas por código de error; cada código abre Ejecuciones filtradas por errores. Los errores nunca se facturan.
- Tráfico — ejecuciones de la API y del Playground. Versiones — ejecuciones por versión desplegada, y el borrador para las ejecuciones del Playground.
Preguntas
Una tarjeta por pregunta, a partir de una muestra de las últimas 2,000 ejecuciones exitosas del período. Las estadísticas necesitan las respuestas, así que solo cubren las ejecuciones guardadas con el storeOutput de la decisión activado.
| Métrica | Qué muestra | Resaltada a partir de |
|---|---|---|
| Respuestas | La proporción de cada opción o nivel. Las preguntas probability muestran la distribución de p(sí) en décimas, de 0 a 1. | — |
| Confianza | Un histograma de 20 barras de 0.05, de 0 a 1. Las respuestas seguras quedan a la derecha. | — |
| Confianza media | La confianza promedio de las respuestas. | por debajo de 0.6 |
| Por debajo del mínimo | La proporción de respuestas por debajo del minConfidence de la pregunta — ejecuciones que reciben la acción de fallback salvo que antes haya coincidido una política. | 20% |
| Casi empates (choice, score) | La proporción de respuestas cuyas dos opciones o niveles principales estuvieron a menos de 0.15 de distancia, y el par que se confunde con más frecuencia. | 15% |
| Indecisas (probability) | La proporción de probabilidades entre 0.35 y 0.65 — ni sí ni no. | 30% |
| “other” (choice) | La proporción de respuestas en las que ninguna opción encajó. | 10% |
| p(sí) media (probability) | La probabilidad promedio de sí. | — |
Ajustar, en cada tarjeta, abre la pregunta en el editor.
Destinos
Para las decisiones con destinos, una tabla cuenta, por destino y para el período:
| Columna | Cuenta |
|---|---|
| Devueltos | Respuestas devueltas en la respuesta — funciones, respuestas fijas y respuestas de LLM y de agentes. |
| Entregados | Entregas que tuvieron éxito: webhooks, solicitudes de API, workflows y delegaciones a agentes. |
| Fallidos | Entregas que fallaron, y llamadas a LLM o agentes que fallaron. |
| Pendientes | Entregas que aún esperan un intento. |
Modo sombra
Para las decisiones con settings.shadow, una tarjeta Modo sombra compara el motor principal con el motor sombra en las ejecuciones de producción muestreadas del período (hasta las 2,000 más recientes):
| Métrica | Qué muestra |
|---|---|
| Concordancia | La proporción de ejecuciones sombra en las que cada pregunta obtuvo la misma respuesta en ambos motores. |
| Ejecuciones sombra | Cuántas ejecuciones se compararon, y cuántas fallaron en el motor sombra — las fallidas no se comparan. |
| Latencia p50 de la sombra | La latencia mediana del motor sombra, para compararla con la Latencia p50 del motor principal. |
| Por pregunta | La concordancia de cada pregunta, verde desde el 90%, ámbar desde el 70%, roja por debajo. |
Dos respuestas coinciden cuando una pregunta choice eligió la misma opción, una pregunta score el mismo nivel, o una pregunta probability cayó del mismo lado de 0.5 — ambas por encima o ambas por debajo. Una pregunta que alguno de los motores se negó a responder no se cuenta. Revisa las tasas por pregunta de las preguntas que usan tus políticas antes de cambiar settings.engine — consulta Comparar motores y modo sombra.
Sugerencias de calibración
La tarjeta Sugerencias de calibración convierte los números en consejos. Cada sugerencia cita la medición en la que se basa, para que puedas verificarla, y enlaza al campo que hay que cambiar con Corregir en el editor. Se ordenan por gravedad — alta, media, baja, info.
- Por debajo de 20 ejecuciones en el período, la tarjeta solo indica que la muestra es pequeña — sin consejos basados en ruido.
- Los consejos por pregunta también necesitan 20 respuestas de esa pregunta en la muestra.
- Las sugerencias apuntan al borrador — lo que editas — o a la versión desplegada cuando el borrador es inválido.
| Sugerencia | Se muestra cuando | Gravedad | Qué hacer |
|---|---|---|---|
| Las estadísticas por pregunta están desactivadas | La decisión no guarda las salidas. | info | Activa Guardar la salida para recibir consejos por pregunta. |
| Solo 12 ejecuciones en este período | Menos de 20 ejecuciones. | info | Ejecuta entradas representativas en el Playground, o envía tráfico real. |
| El 5% de las ejecuciones falló (sobre todo ENGINE_TIMEOUT, 41) | Falló el 2% o más de las ejecuciones — alta a partir del 10%. | media, alta | Según el código: sube timeoutMs o responde con la acción de fallback (ENGINE_TIMEOUT); distribuye los picos o usa tu propia clave (ENGINE_RATE_LIMITED); activa el fallback por error del motor (ENGINE_UNAVAILABLE); corrige lo que envían quienes llaman (INVALID_STATE); en otro caso, lee los errores en Ejecuciones. |
| El 34% de las ejecuciones termina en la acción de fallback (escalate) | El 30% o más de las ejecuciones recibió la acción de fallback por other o baja confianza. | media | Lee los consejos por pregunta antes de relajar los umbrales. |
| “route” respondió “other” en el 14% de las ejecuciones | Una pregunta choice respondió other en el 10% o más de sus respuestas — alta a partir del 25%. | media, alta | Revisa esas ejecuciones; agrega una opción para el caso frecuente o amplía las descripciones. |
| “route” está en casi empate en el 22% de las ejecuciones (sobre todo “sales” vs “sdr”) | Las dos respuestas principales de una pregunta choice o score estuvieron a menos de 0.15 de distancia en el 15% o más de sus respuestas — alta a partir del 30%. | media, alta | Contrasta las dos descripciones y agrega exclusiones ("no para clientes existentes"); Jev se inclina hacia la primera opción, así que pon primero la más específica. Para los niveles, describe cada uno con criterios concretos. |
| La confianza media en “priority” es 0.52 | La confianza promedio de una pregunta está por debajo de 0.6. | media | Haz una pregunta literal, divide las compuestas, señala con backticks los campos del state que importan, o agrega contexto en context. |
| minConfidence 0.8 envía el 27% de “route” a escalate | El 20% o más de las respuestas de una pregunta queda por debajo de su minConfidence. | media | La tarjeta simula la proporción por debajo de 0.5, 0.6, 0.7, 0.8 y 0.9 e indica el umbral más alto que la mantiene en el 10% o menos. Baja el umbral solo si las respuestas cercanas a él suelen ser correctas; si no, mejora primero la pregunta. |
| Las respuestas inciertas de “route” pueden disparar reglas de bloqueo | La pregunta no tiene minConfidence, la decisión tiene una regla block y algunas respuestas quedan por debajo de 0.7. | baja | Define un minConfidence para que las respuestas inciertas reciban la acción de fallback en lugar de ser bloqueadas. |
| “purchase_intent” está indecisa (p entre 0.35 y 0.65) en el 31% de las ejecuciones | Una probabilidad entre 0.35 y 0.65 en el 30% o más de sus respuestas. | media | Agrega criterios de cuenta como sí y cuenta como no. |
| “route” respondió “sales” en el 93% de las ejecuciones | Una respuesta de una pregunta choice o score en el 90% o más de al menos 50 respuestas. | baja | O el tráfico es uniforme o la pregunta no discrimina: afina las otras opciones, o quita la pregunta para ahorrar tokens. |
| “spam” nunca se eligió en 412 ejecuciones | Una opción o nivel nunca se eligió en al menos 200 respuestas (sin contar other). | baja | Revisa su descripción, o quítala si ese caso no ocurre. |
| La regla #3 (IF route eq spam THEN block) nunca coincidió en 1,250 ejecuciones | Al menos 100 ejecuciones y una regla que nunca coincidió. | baja | Puede que una regla anterior siempre gane, o que el valor sea inalcanzable. |
| La regla #1 (…) coincide en el 97% de las ejecuciones | Al menos 100 ejecuciones y una regla que coincidió en el 95% o más de ellas. | baja | La regla puede ser más amplia de lo previsto — las reglas posteriores nunca tienen oportunidad. |
| 2,480 tokens de entrada por decisión en promedio | Más de 2,000 tokens de entrada por ejecución en promedio. | baja | Acorta las instrucciones y el context, fusiona preguntas, envía states más pequeños. |
| La latencia p95 es de 3.4 s | La latencia p95 supera los 3 s. | baja | La latencia crece con los tokens de entrada; con plazos ajustados, responde con la acción de fallback ante errores del motor. |
| El destino “sales_crm” falló en el 12% de las entregas | Al menos 10 entregas entregadas o fallidas, y el 5% o más falló — alta a partir del 25%. | media, alta | Abre una ejecución para leer la respuesta del receptor, corrige el destino y reenvía. |
Calibra, paso a paso
Empieza por la primera sugerencia. Abre Ejecuciones filtradas por la decisión y lee algunas de las ejecuciones detrás del número — sus entradas, respuestas y distribuciones.
Cambia el borrador en el editor: descripciones de las opciones, instrucciones, criterios, un umbral, una regla. Cambia una cosa a la vez.
Repite esas entradas en el Playground — Volver a ejecutar esta entrada en el Playground desde una ejecución — y compara con la ejecución anterior.
Despliega y observa los días siguientes con el filtro de tráfico API: el Resumen incluye todas las versiones del período, y Versiones muestra cómo se reparten las ejecuciones entre ellas.
Umbrales como minConfidence deberían seguir el costo de una respuesta equivocada, no solo la tasa de fallback: una ruta de reembolso merece un listón más alto que "enviar un artículo". Consulta Manejar la baja confianza y other y Escribir buenas preguntas.
Calibración con resultados reales
El Resumen mide qué tan seguro y qué tan consistente es el motor — no si acertó. Para comparar la confianza con los resultados reales, exporta las ejecuciones con GET /v1/executions y crúzalas con lo que pasó en tu sistema.
Manejar baja confianza y other
Diseña decisiones que admitan la incertidumbre — la opción reservada other, la confianza mínima, las políticas de confianza, la acción de fallback, los casi empates y el fallback por error del motor.
Reintentos idempotentes
Un cliente de Dcision listo para producción — claves de idempotencia, timeouts, qué errores reintentar, backoff exponencial con Retry-After — en JavaScript y Python.