Релевантность RAG

Проверьте, отвечает ли найденный фрагмент на запрос, прежде чем вызывать LLM, и решите, когда нужно найти больше контекста, с шаблоном RAG Relevance.

Цель: перестать отправлять в LLM нерелевантные фрагменты. Оценивайте каждый найденный фрагмент относительно запроса, оставляйте полезные и ищите больше, когда ничто не отвечает на вопрос.

Создайте решение

Шаблоны → Релевантность RAG → Создать решение:

ЧастьСодержимое
Statequery (строка, обязательная), chunk (строка, обязательная)
relevantprobability — помогает ли фрагмент ответить на запрос?
relevancescore — none, partial, direct
retrieve_moreprobability — нужно ли системе найти больше контекста перед ответом?
Политикинет — каждый ответ возвращает continue

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "chunk": "Annual plans can be refunded within 30 days of purchase."
    }
  }'
200 OK
{
  "decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
  "execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
  "schema": "rag-relevance",
  "version": 1,
  "result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
  "confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
  "scores": { "relevance": 2.91 },
  "action": "continue",
  "action_reason": { "type": "default" },
  "metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}

Добавьте политики

В шаблоне нет правил, поэтому действие всегда continue. Два правила делают действие осмысленным — отбрасывать нерелевантные фрагменты и запрашивать больше контекста:

[
  { "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
  { "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]

Действуйте по результату

Оценивайте найденные фрагменты параллельно — каждый из них отдельное решение, — оставляйте то, что прошло, и только потом вызывайте LLM:

async function relevantChunks(query, chunks) {
  const decisions = await Promise.all(
    chunks.map(async (chunk) => {
      const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
        method: "POST",
        headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
        body: JSON.stringify({ state: { query, chunk: chunk.text } }),
      });
      return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
    }),
  );

  const kept = decisions
    .filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
    .sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
  const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
  return { kept: kept.map(({ chunk }) => chunk), needMore };
}

Настройте его

  • Следите за объёмом: 10 фрагментов на вопрос — это 10 решений и 10 запросов. Подбирайте объём поиска и свой лимит запросов вместе и оценивайте только верхние результаты своего ретривера.
  • Или оцените короткий список фиксированного размера за один вызов: поместите лучшие отрывки в state — { "query": …, "passages": [ … ] } — и задайте по одному probability-вопросу на каждую позицию, например passage_3: "Does `passages[3]` help answer `query`?" (до 64 вопросов на решение). Один запрос и одно тарифицируемое решение на весь список; держите state в пределах бюджета токенов.
  • Выключите storeInput, если фрагменты содержат приватные документы.
  • Опишите корпус в context («внутренний справочный центр продукта для расчёта зарплат»), чтобы движок мог оценивать частичные совпадения.
  • Используйте relevant для ранжирования, а relevance — для отсева: вероятность сортирует фрагменты, уровень отбрасывает бесполезные. Чтобы получить одно число, объедините их в композит.

На этой странице