Escribir buenas preguntas

Redacta instrucciones, opciones y criterios que Jev responda de forma fiable — redacción literal, matemáticas y fechas en código, menos indirección, un estado filtrado, orden de opciones y nada de generación de texto.

Jev es rápido, está calibrado y es bueno en juicios de sentido común — y lee tu pregunta literalmente. La mayoría de los problemas de precisión vienen de cómo está escrita una pregunta, no del motor. Estas reglas siguen la lista de TypeSafe de limitaciones conocidas de jev-1.13 y su guía de preguntas estructuradas. Muchas de estas limitaciones deberían atenuarse en versiones posteriores de Jev.

1. Di exactamente lo que quieres decir

Jev responde la pregunta que escribiste, no la que tenías en mente. Las palabras que delimitan el alcance, las negaciones y las condiciones implícitas se leen al pie de la letra.

En lugar deEscribe
"¿Este cliente está insatisfecho?""¿El cliente dice que está insatisfecho con el producto o el servicio?"
"¿Es esto un lead de ventas?""¿El remitente pregunta por precios, una demo, una cotización o una fecha de inicio para nuestro producto?"
  • Pon los casos límite en los criterios: descripciones de opciones, niveles de puntaje y el yes / no de la probabilidad.
  • Cuando te descubras explicando una respuesta incorrecta ("pero yo quería decir…"), esa explicación es la mitad que le falta a la instrucción.
  • Cuando la interpretación sea inevitable, divídela en dos preguntas literales y combínalas con una condición and o un compuesto.

2. Deja las matemáticas, los conteos y las fechas en el código

Jev no es una calculadora. Calcula en tu aplicación y envía el resultado en el estado — un número o, mejor aún, un rango con nombre.

{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }
  • Conteos: no preguntes "¿cuántos elementos son frutas?". Haz una pregunta de sí/no por elemento — o una decisión por elemento — y suma las respuestas en el código.
  • Fechas: no preguntes cuál de dos fechas va primero. Extrae las partes que necesitas con preguntas choice (mes, año, una opción explícita not_stated) y luego compara y calcula en el código.
  • Los nombres ganan a los códigos: "rojo oscuro" funciona mejor que #8B0000; conviértelo antes en el código.
  • Los niveles ponderados son para umbrales: scores te dice si una respuesta está por encima o por debajo de un nivel, no el número exacto entre dos niveles.

3. Reduce la indirección

Las dobles negaciones, "una propiedad de una propiedad" y el razonamiento de varios saltos cuestan precisión. Pregunta directamente y señala por su nombre, entre backticks, la parte del estado a la que se refiere la pregunta — funcionan las rutas con puntos e índices:

{
  "key": "refund_requested",
  "type": "probability",
  "instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}

4. Envía solo lo que la pregunta necesita

El detalle no relacionado en el estado es un distractor: la precisión cae a medida que el estado crece con contenido que la decisión no necesita, y cada token extra cuenta para los límites — unos 32,000 tokens para el estado más la pregunta más larga y 64,000 para el estado más todas las preguntas.

  • Filtra primero en tu código. Los campos que el schema no declara igual se reenvían al motor, así que no envíes registros completos "por si acaso".
  • Pasa el fragmento relevante: los últimos mensajes de una conversación, los pasajes recuperados que pasaron un control de relevancia, los campos de la fila a la que se refiere la pregunta.
  • Usa un estado list para transcripciones y lotes, y un objeto con claves descriptivas para todo lo demás.

5. Revisa el orden de las opciones

Jev puede inclinarse por la opción que aparece primero en una pregunta choice. Haz que las opciones sean mutuamente excluyentes y luego reordénalas en el Playground y comprueba que la respuesta no cambie. La opción reservada other siempre va al final, sea cual sea el orden de las demás.

6. No le pidas que genere

Jev devuelve opciones, niveles y probabilidades — nunca texto libre, y Dcision tampoco. Para extracción, encuentra los candidatos en el código (una expresión regular, un parser o un LLM) y deja que una choice elija el correcto. Los valores de las opciones son claves en snake_case, así que pon cada candidato en su descripción:

{
  "key": "customer_name",
  "type": "choice",
  "instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
  "options": [
    { "value": "candidate_1", "description": "Beaver Logistics" },
    { "value": "candidate_2", "description": "Beaver Dam Logistics" },
    { "value": "candidate_3", "description": "Dam Logistics" }
  ]
}

7. Alinea instrucciones y criterios

Los criterios amplían la instrucción; no deberían contradecirla. Una probabilidad cuyo criterio yes describe el caso no rinde peor. Escribe lo que un lector promedio entendería a primera vista.

8. Trata el estado como datos

El estado es contenido, no instrucciones — y el contenido puede estar escrito para dirigir la respuesta: una instrucción inyectada, un planteamiento engañoso, un texto que argumenta a favor de su propia clasificación. Sé explícito en los criterios sobre qué cuenta y pasa muestras adversariales por el Playground antes de desplegar.

9. Usa estructura cuando ayude

Las instrucciones, las descripciones de opciones, los niveles de puntaje y los criterios de probabilidad aceptan JSON además de texto. La estructura ayuda cuando una pregunta tiene varias partes o necesita datos de apoyo — las claves etiquetan cada parte. Esta choice describe lo que cubre cada opción y lo que no cubre:

{
  "key": "department",
  "type": "choice",
  "instructions": {
    "question": "Which team should handle this message?",
    "focus": "Classify the customer's primary request, not every topic mentioned."
  },
  "options": [
    {
      "value": "billing",
      "description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
    },
    {
      "value": "orders",
      "description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
    },
    {
      "value": "account",
      "description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
    }
  ]
}

Un nivel de puntaje también puede ser una rúbrica, siempre que tenga un label — el label es lo que devuelve result:

{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }

Consulta Instrucciones y criterios estructurados para ver las reglas y los límites.

10. Prueba en el idioma que atiendes

El inglés es el idioma principal de entrenamiento de Jev y donde la precisión es mejor hoy. Otros idiomas funcionan, pero pruébalos con tu propio contenido y vigila la confianza al enrutar.

Checklist

  • Un juicio por pregunta, formulado como una pregunta literal sobre el estado.
  • Casos límite y exclusiones en las descripciones de opciones, los niveles o los criterios.
  • Números, conteos y fechas calculados en el código y enviados como campos o rangos.
  • Campos del estado nombrados en las instrucciones con backticks cuando eso elimina ambigüedad.
  • Solo el estado que las preguntas necesitan.
  • Opciones mutuamente excluyentes, y la respuesta estable cuando las reordenas.
  • Muestras adversariales y de casos extremos ejecutadas en el Playground.
  • Un minConfidence o una regla de confianza donde una respuesta incorrecta sale cara — consulta Enrutamiento filtrado por confianza.

En esta página