Escrevendo boas perguntas

Formule instruções, opções e critérios que o Jev responde com confiabilidade — redação literal, matemática e datas no código, menos indireção, um estado filtrado, ordem das opções e nada de gerar texto.

O Jev é rápido, calibrado e bom em julgamentos de senso comum — e lê a sua pergunta literalmente. A maior parte dos problemas de precisão vem de como a pergunta está escrita, não do engine. Estas regras seguem a lista da TypeSafe de limitações conhecidas do jev-1.13 e o guia dela sobre perguntas estruturadas. Muitas dessas limitações devem diminuir em versões futuras do Jev.

1. Diga exatamente o que você quer dizer

O Jev responde a pergunta que você escreveu, não a que você quis fazer. Palavras de escopo, negações e condições implícitas são lidas ao pé da letra.

Em vez deEscreva
"Este cliente está insatisfeito?""O cliente diz que está insatisfeito com o produto ou com o serviço?"
"Isto é um lead de vendas?""O remetente pergunta sobre preço, uma demo, um orçamento ou uma data de início para o nosso produto?"
  • Coloque os casos-limite nos critérios: descrições das opções, níveis de score e o yes / no da probabilidade.
  • Quando você se pegar explicando uma resposta errada ("mas eu quis dizer…"), essa explicação é a metade que falta da instrução.
  • Quando a interpretação for inevitável, divida-a em duas perguntas literais e combine-as com uma condição and ou um composto.

2. Deixe matemática, contagens e datas no código

O Jev não é uma calculadora. Calcule na sua aplicação e envie o resultado no estado — um número ou, melhor ainda, uma faixa com nome.

{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }
  • Contagens: não pergunte "quantos itens são frutas?". Faça uma pergunta de sim/não por item — ou uma decisão por item — e some as respostas no código.
  • Datas: não pergunte qual de duas datas vem primeiro. Extraia as partes de que você precisa com perguntas choice (mês, ano, uma opção explícita not_stated) e então compare e calcule no código.
  • Nomes são melhores que códigos: "vermelho-escuro" funciona melhor que #8B0000; converta no código antes.
  • Níveis ponderados servem para limiares: scores diz se uma resposta está acima ou abaixo de um nível, não o número exato entre dois níveis.

3. Reduza a indireção

Duplas negações, "uma propriedade de uma propriedade" e raciocínios de vários saltos custam precisão. Pergunte diretamente e aponte pelo nome, entre crases, a parte do estado de que a pergunta trata — caminhos com ponto e índice funcionam:

{
  "key": "refund_requested",
  "type": "probability",
  "instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}

4. Envie só o que a pergunta precisa

Detalhes não relacionados no estado são distrações: a precisão cai à medida que o estado cresce com conteúdo de que a decisão não precisa, e cada token extra conta para os limites — cerca de 32.000 tokens para o estado mais a pergunta mais longa e 64.000 para o estado mais todas as perguntas.

  • Filtre no seu código primeiro. Campos que o schema não declara ainda são repassados ao engine, então não envie registros inteiros "por via das dúvidas".
  • Passe o recorte relevante: as últimas mensagens de uma conversa, os trechos recuperados que passaram numa verificação de relevância, os campos da linha de que a pergunta trata.
  • Use um estado de lista para transcrições e lotes, e um objeto com chaves descritivas para todo o resto.

5. Confira a ordem das opções

O Jev pode tender para a opção que vem primeiro numa pergunta choice. Deixe as opções mutuamente exclusivas e então reordene-as no Playground e confira se a resposta continua a mesma. A opção reservada other é sempre a última, qualquer que seja a ordem das outras.

6. Não peça para gerar

O Jev devolve escolhas, níveis e probabilidades — nunca texto livre, e a Dcision também não. Para extração, encontre os candidatos no código (uma expressão regular, um parser ou um LLM) e deixe uma pergunta choice escolher o certo. Os valores das opções são chaves em snake_case, então coloque cada candidato na descrição:

{
  "key": "customer_name",
  "type": "choice",
  "instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
  "options": [
    { "value": "candidate_1", "description": "Beaver Logistics" },
    { "value": "candidate_2", "description": "Beaver Dam Logistics" },
    { "value": "candidate_3", "description": "Dam Logistics" }
  ]
}

7. Alinhe instruções e critérios

Os critérios complementam a instrução; não devem contradizê-la. Uma probabilidade cujo critério yes descreve o caso não tem desempenho pior. Escreva o que um leitor médio entenderia à primeira vista.

8. Trate o estado como dados

O estado é conteúdo, não instrução — e conteúdo pode ser escrito para conduzir a resposta: uma instrução injetada, um enquadramento enganoso, um texto que defende a sua própria classificação. Seja explícito nos critérios sobre o que conta e rode amostras adversariais no Playground antes de publicar.

9. Use estrutura quando ajudar

Instruções, descrições de opções, níveis de score e critérios de probabilidade aceitam JSON além de texto. A estrutura ajuda quando uma pergunta tem várias partes ou precisa de dados de apoio — as chaves rotulam cada parte. Esta pergunta choice descreve o que cada opção cobre e o que não cobre:

{
  "key": "department",
  "type": "choice",
  "instructions": {
    "question": "Which team should handle this message?",
    "focus": "Classify the customer's primary request, not every topic mentioned."
  },
  "options": [
    {
      "value": "billing",
      "description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
    },
    {
      "value": "orders",
      "description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
    },
    {
      "value": "account",
      "description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
    }
  ]
}

Um nível de score também pode ser uma rubrica, desde que tenha um label — o rótulo é o que result devolve:

{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }

Veja Instruções e critérios estruturados para as regras e os limites.

10. Teste no idioma que você atende

Inglês é o principal idioma de treinamento do Jev e onde a precisão é melhor hoje. Outros idiomas funcionam, mas teste-os com o seu próprio conteúdo e acompanhe a confiança ao rotear.

Checklist

  • Um julgamento por pergunta, formulado como uma pergunta literal sobre o estado.
  • Casos-limite e exclusões nas descrições das opções, nos níveis ou nos critérios.
  • Números, contagens e datas calculados no código e enviados como campos ou faixas.
  • Campos do estado nomeados nas instruções com crases quando isso elimina ambiguidade.
  • Só o estado de que as perguntas precisam.
  • Opções mutuamente exclusivas, e a resposta estável quando você as reordena.
  • Amostras adversariais e de casos-limite rodadas no Playground.
  • Um minConfidence ou uma regra de confiança onde uma resposta errada custa caro — veja Roteamento por confiança.

Nesta página