Escrevendo boas perguntas
Formule instruções, opções e critérios que o Jev responde com confiabilidade — redação literal, matemática e datas no código, menos indireção, um estado filtrado, ordem das opções e nada de gerar texto.
O Jev é rápido, calibrado e bom em julgamentos de senso comum — e lê a sua pergunta literalmente. A maior parte dos problemas de precisão vem de como a pergunta está escrita, não do engine. Estas regras seguem a lista da TypeSafe de limitações conhecidas do jev-1.13 e o guia dela sobre perguntas estruturadas. Muitas dessas limitações devem diminuir em versões futuras do Jev.
1. Diga exatamente o que você quer dizer
O Jev responde a pergunta que você escreveu, não a que você quis fazer. Palavras de escopo, negações e condições implícitas são lidas ao pé da letra.
| Em vez de | Escreva |
|---|---|
| "Este cliente está insatisfeito?" | "O cliente diz que está insatisfeito com o produto ou com o serviço?" |
| "Isto é um lead de vendas?" | "O remetente pergunta sobre preço, uma demo, um orçamento ou uma data de início para o nosso produto?" |
- Coloque os casos-limite nos critérios: descrições das opções, níveis de score e o
yes/noda probabilidade. - Quando você se pegar explicando uma resposta errada ("mas eu quis dizer…"), essa explicação é a metade que falta da instrução.
- Quando a interpretação for inevitável, divida-a em duas perguntas literais e combine-as com uma condição
andou um composto.
2. Deixe matemática, contagens e datas no código
O Jev não é uma calculadora. Calcule na sua aplicação e envie o resultado no estado — um número ou, melhor ainda, uma faixa com nome.
{ "invoice": { "days_overdue": 42, "amount_band": "10k_to_100k" }, "message": "…" }- Contagens: não pergunte "quantos itens são frutas?". Faça uma pergunta de sim/não por item — ou uma decisão por item — e some as respostas no código.
- Datas: não pergunte qual de duas datas vem primeiro. Extraia as partes de que você precisa com perguntas choice (mês, ano, uma opção explícita
not_stated) e então compare e calcule no código. - Nomes são melhores que códigos: "vermelho-escuro" funciona melhor que
#8B0000; converta no código antes. - Níveis ponderados servem para limiares:
scoresdiz se uma resposta está acima ou abaixo de um nível, não o número exato entre dois níveis.
3. Reduza a indireção
Duplas negações, "uma propriedade de uma propriedade" e raciocínios de vários saltos custam precisão. Pergunte diretamente e aponte pelo nome, entre crases, a parte do estado de que a pergunta trata — caminhos com ponto e índice funcionam:
{
"key": "refund_requested",
"type": "probability",
"instructions": "Does `ticket.messages[0].text` explicitly ask for a refund or a credit?"
}4. Envie só o que a pergunta precisa
Detalhes não relacionados no estado são distrações: a precisão cai à medida que o estado cresce com conteúdo de que a decisão não precisa, e cada token extra conta para os limites — cerca de 32.000 tokens para o estado mais a pergunta mais longa e 64.000 para o estado mais todas as perguntas.
- Filtre no seu código primeiro. Campos que o schema não declara ainda são repassados ao engine, então não envie registros inteiros "por via das dúvidas".
- Passe o recorte relevante: as últimas mensagens de uma conversa, os trechos recuperados que passaram numa verificação de relevância, os campos da linha de que a pergunta trata.
- Use um estado de lista para transcrições e lotes, e um objeto com chaves descritivas para todo o resto.
5. Confira a ordem das opções
O Jev pode tender para a opção que vem primeiro numa pergunta choice. Deixe as opções mutuamente exclusivas e então reordene-as no Playground e confira se a resposta continua a mesma. A opção reservada other é sempre a última, qualquer que seja a ordem das outras.
6. Não peça para gerar
O Jev devolve escolhas, níveis e probabilidades — nunca texto livre, e a Dcision também não. Para extração, encontre os candidatos no código (uma expressão regular, um parser ou um LLM) e deixe uma pergunta choice escolher o certo. Os valores das opções são chaves em snake_case, então coloque cada candidato na descrição:
{
"key": "customer_name",
"type": "choice",
"instructions": "Which candidate is the organization the invoice was issued to, as written in `source_text`?",
"options": [
{ "value": "candidate_1", "description": "Beaver Logistics" },
{ "value": "candidate_2", "description": "Beaver Dam Logistics" },
{ "value": "candidate_3", "description": "Dam Logistics" }
]
}7. Alinhe instruções e critérios
Os critérios complementam a instrução; não devem contradizê-la. Uma probabilidade cujo critério yes descreve o caso não tem desempenho pior. Escreva o que um leitor médio entenderia à primeira vista.
8. Trate o estado como dados
O estado é conteúdo, não instrução — e conteúdo pode ser escrito para conduzir a resposta: uma instrução injetada, um enquadramento enganoso, um texto que defende a sua própria classificação. Seja explícito nos critérios sobre o que conta e rode amostras adversariais no Playground antes de publicar.
9. Use estrutura quando ajudar
Instruções, descrições de opções, níveis de score e critérios de probabilidade aceitam JSON além de texto. A estrutura ajuda quando uma pergunta tem várias partes ou precisa de dados de apoio — as chaves rotulam cada parte. Esta pergunta choice descreve o que cada opção cobre e o que não cobre:
{
"key": "department",
"type": "choice",
"instructions": {
"question": "Which team should handle this message?",
"focus": "Classify the customer's primary request, not every topic mentioned."
},
"options": [
{
"value": "billing",
"description": { "what": "Charges, invoices, refunds, or subscriptions", "not_for": "Order tracking or account access", "examples": ["I was charged twice", "Where is my refund?"] }
},
{
"value": "orders",
"description": { "what": "Order status, delivery, cancellation, or returns", "not_for": "Charges or account access", "examples": ["Where is my package?", "Cancel my order"] }
},
{
"value": "account",
"description": { "what": "Login, password, profile, or security", "not_for": "Charges or delivery", "examples": ["I can't log in", "Change my email"] }
}
]
}Um nível de score também pode ser uma rubrica, desde que tenha um label — o rótulo é o que result devolve:
{ "label": "critical", "rubric": "outage, data loss, security issue or money at risk" }Veja Instruções e critérios estruturados para as regras e os limites.
10. Teste no idioma que você atende
Inglês é o principal idioma de treinamento do Jev e onde a precisão é melhor hoje. Outros idiomas funcionam, mas teste-os com o seu próprio conteúdo e acompanhe a confiança ao rotear.
Checklist
- Um julgamento por pergunta, formulado como uma pergunta literal sobre o estado.
- Casos-limite e exclusões nas descrições das opções, nos níveis ou nos critérios.
- Números, contagens e datas calculados no código e enviados como campos ou faixas.
- Campos do estado nomeados nas instruções com crases quando isso elimina ambiguidade.
- Só o estado de que as perguntas precisam.
- Opções mutuamente exclusivas, e a resposta estável quando você as reordena.
- Amostras adversariais e de casos-limite rodadas no Playground.
- Um
minConfidenceou uma regra de confiança onde uma resposta errada custa caro — veja Roteamento por confiança.
GPT-Live (voz em tempo real)
Faça uma sessão de voz do GPT-Live da OpenAI perguntar as perguntas de uma decisão publicada enquanto o usuário fala, e rode as políticas, os destinos e o log da decisão sobre as respostas.
Lidando com baixa confiança e other
Desenhe decisões que admitem incerteza — a opção reservada other, a confiança mínima, políticas de confiança, a ação de fallback, quase empates e o fallback por erro de engine.