Релевантность RAG
Проверьте, отвечает ли найденный фрагмент на запрос, прежде чем вызывать LLM, и решите, когда нужно найти больше контекста, с шаблоном RAG Relevance.
Цель: перестать отправлять в LLM нерелевантные фрагменты. Оценивайте каждый найденный фрагмент относительно запроса, оставляйте полезные и ищите больше, когда ничто не отвечает на вопрос.
Создайте решение
Шаблоны → Релевантность RAG → Создать решение:
| Часть | Содержимое |
|---|---|
| State | query (строка, обязательная), chunk (строка, обязательная) |
relevant | probability — помогает ли фрагмент ответить на запрос? |
relevance | score — none, partial, direct |
retrieve_more | probability — нужно ли системе найти больше контекста перед ответом? |
| Политики | нет — каждый ответ возвращает continue |
Вызовите его
curl -X POST https://api.dcision.io/v1/decisions/rag-relevance \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"query": "What is the refund window for annual plans?",
"chunk": "Annual plans can be refunded within 30 days of purchase."
}
}'{
"decision_id": "dec_Gt5Mv1Qz7Wp3Kx9Rc2Ln",
"execution_id": "exec_Bw8Ls4Ty2Dq6Hn9Vk1Zf",
"schema": "rag-relevance",
"version": 1,
"result": { "relevant": 0.96, "relevance": "direct", "retrieve_more": 0.08 },
"confidence": { "relevant": 0.92, "relevance": 0.865, "retrieve_more": 0.84 },
"scores": { "relevance": 2.91 },
"action": "continue",
"action_reason": { "type": "default" },
"metrics": { "latency_ms": 334, "engine": "jev", "model": "jev-1.13.0", "estimated_cost_usd": 0.00001092, "input_tokens": 260, "output_tokens": 30 }
}Добавьте политики
В шаблоне нет правил, поэтому действие всегда continue. Два правила делают действие осмысленным — отбрасывать нерелевантные фрагменты и запрашивать больше контекста:
[
{ "field": "relevance", "on": "output", "operator": "eq", "value": "none", "action": "block" },
{ "field": "retrieve_more", "on": "output", "operator": "gte", "value": 0.7, "action": "fallback" }
]Действуйте по результату
Оценивайте найденные фрагменты параллельно — каждый из них отдельное решение, — оставляйте то, что прошло, и только потом вызывайте LLM:
async function relevantChunks(query, chunks) {
const decisions = await Promise.all(
chunks.map(async (chunk) => {
const response = await fetch("https://api.dcision.io/v1/decisions/rag-relevance", {
method: "POST",
headers: { Authorization: `Bearer ${process.env.DCISION_API_KEY}`, "Content-Type": "application/json" },
body: JSON.stringify({ state: { query, chunk: chunk.text } }),
});
return response.ok ? { chunk, decision: await response.json() } : { chunk, decision: null };
}),
);
const kept = decisions
.filter(({ decision }) => !decision || decision.action !== "block") // keep on errors
.sort((a, b) => (b.decision?.result.relevant ?? 0) - (a.decision?.result.relevant ?? 0));
const needMore = decisions.every(({ decision }) => decision?.action === "fallback");
return { kept: kept.map(({ chunk }) => chunk), needMore };
}Настройте его
- Следите за объёмом: 10 фрагментов на вопрос — это 10 решений и 10 запросов. Подбирайте объём поиска и свой лимит запросов вместе и оценивайте только верхние результаты своего ретривера.
- Или оцените короткий список фиксированного размера за один вызов: поместите лучшие отрывки в state —
{ "query": …, "passages": [ … ] }— и задайте по одному probability-вопросу на каждую позицию, напримерpassage_3:"Does `passages[3]` help answer `query`?"(до 64 вопросов на решение). Один запрос и одно тарифицируемое решение на весь список; держите state в пределах бюджета токенов. - Выключите
storeInput, если фрагменты содержат приватные документы. - Опишите корпус в
context(«внутренний справочный центр продукта для расчёта зарплат»), чтобы движок мог оценивать частичные совпадения. - Используйте
relevantдля ранжирования, аrelevance— для отсева: вероятность сортирует фрагменты, уровень отбрасывает бесполезные. Чтобы получить одно число, объедините их в композит.
Маршрутизация агентов
Позвольте ИИ-агенту выбрать первый инструмент и решить, когда задаче действительно нужна большая языковая модель, с шаблоном Agent Routing.
Защита входа
Проверяйте, безопасно ли передавать промпт пользователя вашей LLM, и отвечайте на небезопасные готовым ответом без вызова модели — с шаблоном Input Guardrail.