Переранжирование документов

Оцените, насколько каждый найденный документ отвечает на запрос, отсортируйте кандидатов по оценке 0–1 и отбросьте нерелевантные — с шаблоном «Переранжирование документов».

Цель: отправлять в LLM только документы, которые отвечают на вопрос, — лучшие первыми.

Создайте решение

Шаблоны → Переранжирование документов → Создать решение:

ЧастьСодержимое
Statequery (string, обязательное), document (string, обязательное)
relevancescore — unrelated, same topic, no answer, partial answer, direct answer, complete answer
answers_queryprobability — можно ли ответить на запрос только по этому документу?
Compositererank_score = 2 × relevance + 1 × answers_query, от 0 до 1
Политикиrerank_score < 0.2 → block (отбросить документ)

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/document-reranking \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "document": "Annual plans can be refunded within 30 days of purchase. Monthly plans are not refundable."
    }
  }'
200 OK (сокращено)
{
  "schema": "document-reranking",
  "result": { "relevance": "complete answer", "answers_query": 0.95 },
  "scores": { "relevance": 4.86 },
  "composites": { "rerank_score": 0.96 },
  "action": "continue"
}

Действуйте по результату

Каждый кандидат — одно решение; запускайте их параллельно и сортируйте:

const scored = await Promise.all(docs.map(async (doc) => ({ doc, d: await dcisionDecide("document-reranking", { query, document: doc.text }) })));
const top = scored
  .filter(({ d }) => d.action !== "block")
  .sort((a, b) => b.d.composites.rerank_score - a.d.composites.rerank_score)
  .slice(0, 3)
  .map(({ doc }) => doc);

Настройте его

  • Переранжируйте короткий список: один вызов на документ, поэтому оценивайте 5–10 лучших результатов векторного поиска, а не весь индекс.
  • Измените веса rerank_score, если в вашем корпусе частичные ответы важнее.
  • Выключите storeInput, если документы конфиденциальны.

На этой странице