Переранжирование документов
Оцените, насколько каждый найденный документ отвечает на запрос, отсортируйте кандидатов по оценке 0–1 и отбросьте нерелевантные — с шаблоном «Переранжирование документов».
Цель: отправлять в LLM только документы, которые отвечают на вопрос, — лучшие первыми.
Создайте решение
Шаблоны → Переранжирование документов → Создать решение:
| Часть | Содержимое |
|---|---|
| State | query (string, обязательное), document (string, обязательное) |
relevance | score — unrelated, same topic, no answer, partial answer, direct answer, complete answer |
answers_query | probability — можно ли ответить на запрос только по этому документу? |
| Composite | rerank_score = 2 × relevance + 1 × answers_query, от 0 до 1 |
| Политики | rerank_score < 0.2 → block (отбросить документ) |
Вызовите его
curl -X POST https://api.dcision.io/v1/decisions/document-reranking \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"query": "What is the refund window for annual plans?",
"document": "Annual plans can be refunded within 30 days of purchase. Monthly plans are not refundable."
}
}'{
"schema": "document-reranking",
"result": { "relevance": "complete answer", "answers_query": 0.95 },
"scores": { "relevance": 4.86 },
"composites": { "rerank_score": 0.96 },
"action": "continue"
}Действуйте по результату
Каждый кандидат — одно решение; запускайте их параллельно и сортируйте:
const scored = await Promise.all(docs.map(async (doc) => ({ doc, d: await dcisionDecide("document-reranking", { query, document: doc.text }) })));
const top = scored
.filter(({ d }) => d.action !== "block")
.sort((a, b) => b.d.composites.rerank_score - a.d.composites.rerank_score)
.slice(0, 3)
.map(({ doc }) => doc);Настройте его
- Переранжируйте короткий список: один вызов на документ, поэтому оценивайте 5–10 лучших результатов векторного поиска, а не весь индекс.
- Измените веса
rerank_score, если в вашем корпусе частичные ответы важнее. - Выключите
storeInput, если документы конфиденциальны.
Выбор модели
Отправляйте каждый промпт самой дешёвой модели, которой его достаточно, — быстрой, средней или передовой — и действуйте осторожно, когда уровень неясен, с шаблоном «Выбор модели».
Контроль вызовов инструментов
Прежде чем агент вызовет инструмент, решите — выполнить, попросить пользователя подтвердить или отказать, требуя большей уверенности для рискованных действий, — с шаблоном «Контроль вызовов инструментов».