Оценка ответов

Оценивайте ответ LLM по своей рубрике — точность, полнота и тон — по шкале от 0 до 1 и отправляйте низкие оценки на проверку с шаблоном Response Grading.

Цель: знать, насколько хороши ответы вашего ассистента, ответ за ответом, и ловить плохие до того, как они вам чего-то будут стоить.

Создайте решение

Шаблоны → Оценка ответа (по рубрике) → Создать решение:

ЧастьСодержимое
Statequestion, response (строки, обязательные), reference (строка — известный ответ или исходный текст)
КонтекстРубрика — отредактируйте её под свои стандарты
accuracyscore — wrong, mostly wrong, mixed, mostly right, fully right
completenessscore — misses it, partial, most of it, complete
tonescore — poor, acceptable, good, excellent
unsafe_promiseprobability — обещает ли ответ возврат, цену или срок?
Композитgrade = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, от 0 до 1
Политикиunsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate
Назначенияquality_review — функция flagForQualityReview при escalate

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/response-grading \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "state": {
      "question": "Can I get a refund on my annual plan after 2 months?",
      "response": "Yes, of course! We'"'"'ll refund you in full anytime.",
      "reference": "Annual plans can be refunded within 30 days of purchase."
    }
  }'

Поле response в state — это "Yes, of course! We'll refund you in full anytime.".

200 OK (сокращённо)
{
  "schema": "response-grading",
  "result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
  "composites": { "grade": 0.17 },
  "action": "escalate",
  "destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}

Действуйте по результату

Оценивайте после того, как ответ сгенерирован: до отправки — чтобы заблокировать его, или после — чтобы отслеживать качество:

const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });

Настройте его

  • Напишите свою рубрику в context — она версионируется вместе с решением, так что оценка всегда указывает на рубрику, которая её дала.
  • Измените веса grade так, чтобы они отражали то, что для вас важнее всего.
  • Выполнения по умолчанию сохраняют входы и выходы: страница Выполнения и вкладка Обзор показывают оценки во времени.

На этой странице