Relevancia de RAG

Comprueba si un fragmento recuperado responde a la consulta antes de llamar al LLM, y decide cuándo recuperar más contexto, con la plantilla Relevancia de RAG.

Objetivo: dejar de enviar fragmentos irrelevantes a tu LLM. Puntúa cada fragmento recuperado frente a la consulta, conserva los útiles y recupera más cuando nada responde a la pregunta.

Crear la decisión

Plantillas → Relevancia de RAG → Crear decisión:

ParteContenido
Statequery (string, obligatorio), chunk (string, obligatorio)
relevantprobability — ¿el fragmento ayuda a responder la consulta?
relevancescore — none, partial, direct
retrieve_moreprobability — ¿el sistema debería recuperar más contexto antes de responder?
Políticasninguna — toda respuesta devuelve continue

Llámala

curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "chunk": "Annual plans can be refunded within 30 days of purchase."
    }
  }'
200 OK
{
  "decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
  "execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
  "schema": "rag-relevance",
  "version": 1,
  "result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
  "confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
  "scores": { "relevance": 2.91 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}

Agregar políticas

La plantilla no tiene reglas, así que la acción siempre es continue. Dos reglas le dan sentido a la acción — descartar los fragmentos irrelevantes y pedir más contexto:

[
  { "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
  { "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]

Actúa en consecuencia

Puntúa los fragmentos recuperados en paralelo — cada uno es una decisión —, conserva los que pasan y solo entonces llama al LLM:

async function relevantChunks(query, chunks) {
  const decisions = await Promise.all(
    chunks.map(async (chunk) => {
      const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
        method: "POST",
        headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
        body: JSON.stringify({ state: { query, chunk: chunk.text } }),
      });
      return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
    }),
  );

  const kept = decisions
    .filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
    .sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
  const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
  return { kept: kept.map(({ chunk }) => chunk), needMore };
}

Ajústala

  • Cuida el volumen: 10 fragmentos por pregunta son 10 decisiones y 10 solicitudes. Dimensiona la recuperación y tu rate limit juntos, y puntúa solo los mejores resultados de tu retriever.
  • O puntúa una lista corta de tamaño fijo en una sola llamada: pon los mejores pasajes en el estado — { "query": …, "passages": [ … ] } — y define una pregunta probability por posición, como passage_3: "Does `passages[3]` help answer `query`?" (hasta 64 preguntas por decisión). Una solicitud y una decisión facturable para toda la lista; mantén el estado dentro del presupuesto de tokens.
  • Desactiva storeInput si los fragmentos contienen documentos privados.
  • Describe el corpus en context ("centro de ayuda interno de un producto de nómina") para que el motor pueda juzgar las coincidencias parciales.
  • Usa relevant para ordenar y relevance para filtrar: la probabilidad ordena los fragmentos, el nivel descarta los inútiles. Para un solo número, combínalos en un compuesto.

En esta página