文档重排序

使用文档重排序模板,评估每个检索到的文档对查询的回答程度,按 0–1 的重排序分数对候选排序,并丢弃不相关的文档。

目标:只把能回答问题的文档发送给你的 LLM,最好的排在最前面。

创建决策

模板 → 文档重排序 → 创建决策:

部分内容
Statequery(string,必填)、document(string,必填)
relevancescore——unrelated、same topic, no answer、partial answer、direct answer、complete answer
answers_queryprobability——仅凭这个文档能否回答该查询?
复合指标rerank_score = 2 × relevance + 1 × answers_query,0 到 1
策略rerank_score < 0.2 → block(丢弃该文档)

调用

curl -X POST https://api.dcision.io/v1/decisions/document-reranking \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "document": "Annual plans can be refunded within 30 days of purchase. Monthly plans are not refundable."
    }
  }'
200 OK (abridged)
{
  "schema": "document-reranking",
  "result": { "relevance": "complete answer", "answers_query": 0.95 },
  "scores": { "relevance": 4.86 },
  "composites": { "rerank_score": 0.96 },
  "action": "continue"
}

采取行动

每个候选文档是一个决策;并行运行它们,然后排序:

const scored = await Promise.all(docs.map(async (doc) => ({ doc, d: await dcisionDecide("document-reranking", { query, document: doc.text }) })));
const top = scored
  .filter(({ d }) => d.action !== "block")
  .sort((a, b) => b.d.composites.rerank_score - a.d.composites.rerank_score)
  .slice(0, 3)
  .map(({ doc }) => doc);

调优

  • 对候选短名单重排序:每个文档一次调用,因此请对向量搜索的前 5–10 个结果评分,而不是整个索引。
  • 如果在你的语料中部分回答更重要,请调整 rerank_score 的权重。
  • 如果文档是私密的,请关闭 storeInput。

本页内容