Reranking de documentos

Avalie o quanto cada documento recuperado responde à consulta, ordene os candidatos por um rerank score de 0 a 1 e descarte os irrelevantes, com o template Reranking de documentos.

Objetivo: mandar ao seu LLM só os documentos que respondem à pergunta, os melhores primeiro.

Crie a decisão

Templates → Reranking de documentos → Criar decisão:

ParteConteúdo
Estadoquery (string, obrigatório), document (string, obrigatório)
relevancescore — unrelated, same topic, no answer, partial answer, direct answer, complete answer
answers_queryprobability — a consulta poderia ser respondida só com este documento?
Compositererank_score = 2 × relevance + 1 × answers_query, de 0 a 1
Políticasrerank_score < 0,2 → block (descarta o documento)

Chame a decisão

curl -X POST https://api.dcision.io/v1/decisions/document-reranking \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "query": "What is the refund window for annual plans?",
      "document": "Annual plans can be refunded within 30 days of purchase. Monthly plans are not refundable."
    }
  }'
200 OK (resumida)
{
  "schema": "document-reranking",
  "result": { "relevance": "complete answer", "answers_query": 0.95 },
  "scores": { "relevance": 4.86 },
  "composites": { "rerank_score": 0.96 },
  "action": "continue"
}

Aja sobre a resposta

Cada candidato é uma decisão; rode-as em paralelo e ordene:

const scored = await Promise.all(docs.map(async (doc) => ({ doc, d: await dcisionDecide("document-reranking", { query, document: doc.text }) })));
const top = scored
  .filter(({ d }) => d.action !== "block")
  .sort((a, b) => b.d.composites.rerank_score - a.d.composites.rerank_score)
  .slice(0, 3)
  .map(({ doc }) => doc);

Ajuste

  • Faça o reranking de uma lista curta: é uma chamada por documento, então avalie os 5–10 primeiros resultados da sua busca vetorial, não o índice inteiro.
  • Mude os pesos de rerank_score se respostas parciais importam mais no seu corpus.
  • Desligue storeInput se os documentos forem privados.

Nesta página