Relevância de RAG
Verifique se um trecho recuperado responde à consulta antes de chamar o LLM, e decida quando recuperar mais contexto, com o template Relevância de RAG.
Objetivo: parar de mandar trechos irrelevantes para o seu LLM. Dê nota a cada trecho recuperado em relação à consulta, fique com os úteis e recupere mais quando nada responder à pergunta.
Crie a decisão
Templates → Relevância de RAG → Criar decisão:
| Parte | Conteúdo |
|---|---|
| Estado | query (string, obrigatório), chunk (string, obrigatório) |
relevant | probability — o trecho ajuda a responder à consulta? |
relevance | score — none, partial, direct |
retrieve_more | probability — o sistema deve recuperar mais contexto antes de responder? |
| Políticas | nenhuma — toda resposta devolve continue |
Chame-a
curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"query": "What is the refund window for annual plans?",
"chunk": "Annual plans can be refunded within 30 days of purchase."
}
}'{
"decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
"execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
"schema": "rag-relevance",
"version": 1,
"result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
"confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
"scores": { "relevance": 2.91 },
"action": "continue",
"action_reason": { "type": "default" },
"metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}Adicione políticas
O template não tem regras, então a ação é sempre continue. Duas regras dão sentido à ação — descartar trechos irrelevantes e pedir mais contexto:
[
{ "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
{ "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]Aja sobre o resultado
Dê nota aos trechos recuperados em paralelo — cada um é uma decisão —, fique com o que passar e só então chame o LLM:
async function relevantChunks(query, chunks) {
const decisions = await Promise.all(
chunks.map(async (chunk) => {
const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
method: "POST",
headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
body: JSON.stringify({ state: { query, chunk: chunk.text } }),
});
return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
}),
);
const kept = decisions
.filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
.sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
return { kept: kept.map(({ chunk }) => chunk), needMore };
}Ajuste
- Atenção ao volume: 10 trechos por pergunta são 10 decisões e 10 requisições. Dimensione a recuperação e o seu rate limit juntos, e dê nota só aos primeiros resultados do seu retriever.
- Ou dê nota a uma lista curta de tamanho fixo numa única chamada: coloque as melhores passagens no estado —
{ "query": …, "passages": [ … ] }— e defina uma pergunta de probabilidade por posição, comopassage_3:"Does `passages[3]` help answer `query`?"(até 64 perguntas por decisão). Uma requisição e uma decisão cobrada para a lista inteira; mantenha o estado dentro do orçamento de tokens. - Desligue
storeInputse os trechos contiverem documentos privados. - Descreva o corpus em
context("internal help center for a payroll product") para que o engine consiga julgar correspondências parciais. - Use
relevantpara ranquear erelevancecomo portão: a probabilidade ordena os trechos, o nível descarta os inúteis. Para um único número, combine os dois num composite.
Roteamento de agentes
Deixe um agente de IA escolher a primeira ferramenta e decidir quando uma tarefa realmente precisa de um large language model, com o template Roteamento de agentes.
Guardrail de entrada
Verifique se o prompt de um usuário é seguro para repassar ao seu LLM e responda aos inseguros com uma resposta fixa, sem chamar modelo, com o template Input Guardrail.