Relevância de RAG

Verifique se um trecho recuperado responde à consulta antes de chamar o LLM, e decida quando recuperar mais contexto, com o template Relevância de RAG.

Objetivo: parar de mandar trechos irrelevantes para o seu LLM. Dê nota a cada trecho recuperado em relação à consulta, fique com os úteis e recupere mais quando nada responder à pergunta.

Crie a decisão

Templates → Relevância de RAG → Criar decisão:

ParteConteúdo
Estadoquery (string, obrigatório), chunk (string, obrigatório)
relevantprobability — o trecho ajuda a responder à consulta?
relevancescore — none, partial, direct
retrieve_moreprobability — o sistema deve recuperar mais contexto antes de responder?
Políticasnenhuma — toda resposta devolve continue

Chame-a

curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "chunk": "Annual plans can be refunded within 30 days of purchase."
    }
  }'
200 OK
{
  "decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
  "execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
  "schema": "rag-relevance",
  "version": 1,
  "result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
  "confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
  "scores": { "relevance": 2.91 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}

Adicione políticas

O template não tem regras, então a ação é sempre continue. Duas regras dão sentido à ação — descartar trechos irrelevantes e pedir mais contexto:

[
  { "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
  { "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]

Aja sobre o resultado

Dê nota aos trechos recuperados em paralelo — cada um é uma decisão —, fique com o que passar e só então chame o LLM:

async function relevantChunks(query, chunks) {
  const decisions = await Promise.all(
    chunks.map(async (chunk) => {
      const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
        method: "POST",
        headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
        body: JSON.stringify({ state: { query, chunk: chunk.text } }),
      });
      return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
    }),
  );

  const kept = decisions
    .filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
    .sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
  const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
  return { kept: kept.map(({ chunk }) => chunk), needMore };
}

Ajuste

  • Atenção ao volume: 10 trechos por pergunta são 10 decisões e 10 requisições. Dimensione a recuperação e o seu rate limit juntos, e dê nota só aos primeiros resultados do seu retriever.
  • Ou dê nota a uma lista curta de tamanho fixo numa única chamada: coloque as melhores passagens no estado — { "query": …, "passages": [ … ] } — e defina uma pergunta de probabilidade por posição, como passage_3: "Does `passages[3]` help answer `query`?" (até 64 perguntas por decisão). Uma requisição e uma decisão cobrada para a lista inteira; mantenha o estado dentro do orçamento de tokens.
  • Desligue storeInput se os trechos contiverem documentos privados.
  • Descreva o corpus em context ("internal help center for a payroll product") para que o engine consiga julgar correspondências parciais.
  • Use relevant para ranquear e relevance como portão: a probabilidade ordena os trechos, o nível descarta os inúteis. Para um único número, combine os dois num composite.

Nesta página