Relevancia de RAG
Comprueba si un fragmento recuperado responde a la consulta antes de llamar al LLM, y decide cuándo recuperar más contexto, con la plantilla Relevancia de RAG.
Objetivo: dejar de enviar fragmentos irrelevantes a tu LLM. Puntúa cada fragmento recuperado frente a la consulta, conserva los útiles y recupera más cuando nada responde a la pregunta.
Crear la decisión
Plantillas → Relevancia de RAG → Crear decisión:
| Parte | Contenido |
|---|---|
| State | query (string, obligatorio), chunk (string, obligatorio) |
relevant | probability — ¿el fragmento ayuda a responder la consulta? |
relevance | score — none, partial, direct |
retrieve_more | probability — ¿el sistema debería recuperar más contexto antes de responder? |
| Políticas | ninguna — toda respuesta devuelve continue |
Llámala
curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"query": "What is the refund window for annual plans?",
"chunk": "Annual plans can be refunded within 30 days of purchase."
}
}'{
"decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
"execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
"schema": "rag-relevance",
"version": 1,
"result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
"confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
"scores": { "relevance": 2.91 },
"action": "continue",
"action_reason": { "type": "default" },
"metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}Agregar políticas
La plantilla no tiene reglas, así que la acción siempre es continue. Dos reglas le dan sentido a la acción — descartar los fragmentos irrelevantes y pedir más contexto:
[
{ "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
{ "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]Actúa en consecuencia
Puntúa los fragmentos recuperados en paralelo — cada uno es una decisión —, conserva los que pasan y solo entonces llama al LLM:
async function relevantChunks(query, chunks) {
const decisions = await Promise.all(
chunks.map(async (chunk) => {
const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
method: "POST",
headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
body: JSON.stringify({ state: { query, chunk: chunk.text } }),
});
return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
}),
);
const kept = decisions
.filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
.sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
return { kept: kept.map(({ chunk }) => chunk), needMore };
}Ajústala
- Cuida el volumen: 10 fragmentos por pregunta son 10 decisiones y 10 solicitudes. Dimensiona la recuperación y tu rate limit juntos, y puntúa solo los mejores resultados de tu retriever.
- O puntúa una lista corta de tamaño fijo en una sola llamada: pon los mejores pasajes en el estado —
{ "query": …, "passages": [ … ] }— y define una pregunta probability por posición, comopassage_3:"Does `passages[3]` help answer `query`?"(hasta 64 preguntas por decisión). Una solicitud y una decisión facturable para toda la lista; mantén el estado dentro del presupuesto de tokens. - Desactiva
storeInputsi los fragmentos contienen documentos privados. - Describe el corpus en
context("centro de ayuda interno de un producto de nómina") para que el motor pueda juzgar las coincidencias parciales. - Usa
relevantpara ordenar yrelevancepara filtrar: la probabilidad ordena los fragmentos, el nivel descarta los inútiles. Para un solo número, combínalos en un compuesto.
Enrutamiento de agentes
Deja que un agente de IA elija su primera herramienta y decida cuándo una tarea realmente necesita un modelo de lenguaje grande, con la plantilla Enrutamiento de agentes.
Guardrail de entrada
Comprueba si el prompt de un usuario es seguro para pasarlo a tu LLM, y responde los inseguros con una respuesta fija y sin llamar a un modelo, con la plantilla Guardrail de entrada.