Оценка ответов
Оценивайте ответ LLM по своей рубрике — точность, полнота и тон — по шкале от 0 до 1 и отправляйте низкие оценки на проверку с шаблоном Response Grading.
Цель: знать, насколько хороши ответы вашего ассистента, ответ за ответом, и ловить плохие до того, как они вам чего-то будут стоить.
Создайте решение
Шаблоны → Оценка ответа (по рубрике) → Создать решение:
| Часть | Содержимое |
|---|---|
| State | question, response (строки, обязательные), reference (строка — известный ответ или исходный текст) |
| Контекст | Рубрика — отредактируйте её под свои стандарты |
accuracy | score — wrong, mostly wrong, mixed, mostly right, fully right |
completeness | score — misses it, partial, most of it, complete |
tone | score — poor, acceptable, good, excellent |
unsafe_promise | probability — обещает ли ответ возврат, цену или срок? |
| Композит | grade = 0.5 × accuracy + 0.3 × completeness + 0.2 × tone, от 0 до 1 |
| Политики | unsafe_promise ≥ 0.7 → escalate; grade < 0.6 → escalate |
| Назначения | quality_review — функция flagForQualityReview при escalate |
Вызовите его
curl -X POST https://api.dcision.io/v1/decisions/response-grading \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"state": {
"question": "Can I get a refund on my annual plan after 2 months?",
"response": "Yes, of course! We'"'"'ll refund you in full anytime.",
"reference": "Annual plans can be refunded within 30 days of purchase."
}
}'Поле response в state — это "Yes, of course! We'll refund you in full anytime.".
{
"schema": "response-grading",
"result": { "accuracy": "wrong", "completeness": "partial", "tone": "good", "unsafe_promise": 0.97 },
"composites": { "grade": 0.17 },
"action": "escalate",
"destinations": [{ "key": "quality_review", "type": "function", "function": "flagForQualityReview", "params": { "grade": 0.17 } }]
}Действуйте по результату
Оценивайте после того, как ответ сгенерирован: до отправки — чтобы заблокировать его, или после — чтобы отслеживать качество:
const d = await dcisionDecide("response-grading", { question, response, reference });
const outOfTen = Math.round(d.composites.grade * 100) / 10; // 0.17 → 1.7 / 10
if (d.action === "escalate") await flagForQualityReview({ question, response, grade: d.composites.grade });Настройте его
- Напишите свою рубрику в
context— она версионируется вместе с решением, так что оценка всегда указывает на рубрику, которая её дала. - Измените веса
gradeтак, чтобы они отражали то, что для вас важнее всего. - Выполнения по умолчанию сохраняют входы и выходы: страница Выполнения и вкладка Обзор показывают оценки во времени.
Порог уверенности для ответа
Решите, уходит ли черновик ответа сам (≥ 0.85), попадает в очередь на проверку (0.4–0.85) или к человеку (< 0.4), с помощью шаблона Reply Confidence Gate.
Guardrail для ответов LLM
Проверяйте, что собирается отправить LLM или агент, — опора на источники, отсутствие утечек данных, безопасность и соответствие политике — и блокируйте, откатывайтесь к fallback или эскалируйте до отправки.