Композитная оценка
Разбейте суждение на атомарные оценки и объедините их с весами, которые вы контролируете, — композиты вычисляет Dcision, и их можно использовать в политиках. На основе шаблона Resume Screening.
Разбейте сложное суждение на независимые измерения, оцените каждое отдельно и объедините их с весами, которые вы контролируете, — в решении, а не в промпте. Один широкий вопрос («хороший ли это кандидат?») прячет за одним ответом несколько суждений; атомарные оценки делают их видимыми, чтобы вы могли их изучать, настраивать и комбинировать.
Преимущества: стоимость, надёжность и скорость. Руководство TypeSafe: Composite scoring.
Почему это работает
- Каждое измерение — небольшой буквальный вопрос, на такие Jev отвечает лучше всего, и все ответы приходят за один вызов.
- Математика остаётся вне модели. Dcision точно вычисляет взвешенную комбинацию; Jev хорош в суждениях и слаб в арифметике.
- Видно, как получилась оценка. Каждое слагаемое есть в ответе, поэтому, когда ранжирование вас удивляет, вы знаете, какое измерение — или какой вес — менять.
- Несколько ранжирований из одних и тех же ответов. Два композита по одним и тем же четырём вопросам ничего не стоят дополнительно: ни нового вопроса, ни нового вызова движка.
Когда использовать
Ранжирование или квалификация по нескольким критериям: оценки лидов, соответствие резюме, риск поставщика, качество контента, приоритет бэклога. Каждый раз, когда вы написали бы «учти A, B и C» в одной инструкции, спросите A, B и C отдельно и объедините их.
Как это ложится на Dcision
| В руководстве TypeSafe | В Dcision |
|---|---|
| Один вопрос score на измерение | Один вопрос score (или probability, или choice) на измерение |
py = answers["python_depth"].score / 4 | Автоматически: слагаемое score нормализуется к 0–1 как (взвешенный уровень − 1) / (уровни − 1) |
ic_score = 0.40 * py + 0.10 * lead + … в вашем коде | Композит с этими весами: Σ(вес × значение) / Σ|вес| |
| Ранжирование и фильтрация в коде | Читайте composites в ответе и используйте композиты в правилах, чтобы задавать action |
Сборка
В приложении
Откройте Шаблоны и выберите Отбор резюме (композитная оценка). Назовите решение Resume Screening, чтобы его slug был resume-screening, затем нажмите Создать решение.
У State одно обязательное строковое поле — resume.
Четыре вопроса score, по пять уровней каждый, по одному на измерение:
| Вопрос | Уровни, от низшего к высшему |
|---|---|
python_depth | none, basic, working, strong, expert |
team_leadership | none, informal, tech lead, manager, manager of managers |
system_design | none, basic, working, strong, expert |
generalist | narrow, some, broad, very broad, full stack and ops |
В карточке Композиты (вкладка «Редактор») дважды нажмите Добавить композит:
senior_ic— Senior IC fit: depth and design first: 0.4 ×python_depth+ 0.1 ×team_leadership+ 0.4 ×system_design+ 0.1 ×generalist.eng_manager— Engineering Manager fit: leadership first: 0.15 ×python_depth+ 0.4 ×team_leadership+ 0.2 ×system_design+ 0.25 ×generalist.
В Политиках композиты появляются в списке полей в группе Композиты:
- IF
senior_ic≥ 0.7 — THENcontinue. - IF
eng_manager≥ 0.7 — THENcontinue. - IF
senior_ic< 0.35, + ANDeng_manager< 0.35 — THENblock. - IF
senior_ic< 0.7 — THENescalate: средняя полоса уходит рекрутеру.
Проверьте несколько резюме в Playground — карточка Композиты показывает оба значения, — затем нажмите Опубликовать v1.
Схема решения
{
"stateSchema": {
"kind": "object",
"fields": [{ "key": "resume", "type": "string", "required": true, "description": "Resume text" }]
},
"questions": [
{ "key": "python_depth", "type": "score", "instructions": "How deep is the candidate's Python experience?", "scale": ["none", "basic", "working", "strong", "expert"] },
{ "key": "team_leadership", "type": "score", "instructions": "How much team leadership has the candidate shown?", "scale": ["none", "informal", "tech lead", "manager", "manager of managers"] },
{ "key": "system_design", "type": "score", "instructions": "How strong is the candidate's system design experience?", "scale": ["none", "basic", "working", "strong", "expert"] },
{ "key": "generalist", "type": "score", "instructions": "How broad is the candidate's experience across the stack?", "scale": ["narrow", "some", "broad", "very broad", "full stack and ops"] }
],
"composites": [
{
"key": "senior_ic",
"description": "Senior IC fit: depth and design first",
"terms": [
{ "question": "python_depth", "weight": 0.4 },
{ "question": "team_leadership", "weight": 0.1 },
{ "question": "system_design", "weight": 0.4 },
{ "question": "generalist", "weight": 0.1 }
]
},
{
"key": "eng_manager",
"description": "Engineering Manager fit: leadership first",
"terms": [
{ "question": "python_depth", "weight": 0.15 },
{ "question": "team_leadership", "weight": 0.4 },
{ "question": "system_design", "weight": 0.2 },
{ "question": "generalist", "weight": 0.25 }
]
}
],
"policies": [
{ "field": "senior_ic", "on": "output", "operator": "gte", "value": 0.7, "action": "continue" },
{ "field": "eng_manager", "on": "output", "operator": "gte", "value": 0.7, "action": "continue" },
{
"field": "senior_ic",
"on": "output",
"operator": "lt",
"value": 0.35,
"and": [{ "field": "eng_manager", "on": "output", "operator": "lt", "value": 0.35 }],
"action": "block"
},
{ "field": "senior_ic", "on": "output", "operator": "lt", "value": 0.7, "action": "escalate" }
]
}Вызов
curl -X POST https://api.dcision.io/v1/decisions/resume-screening \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-H "Idempotency-Key: candidate-3307" \
-d '{
"state": {
"resume": "8 years building Python services (Django, FastAPI). Designed the event pipeline for 20M users at a fintech. Tech lead of 4 engineers for 2 years. Some Terraform and on-call experience."
}
}'{
"decision_id": "dec_Hn6Vx2Kq8Zt4Wm1Lp7Rc",
"execution_id": "exec_Cs9Lw3Tq7Xm1Vn5Kd8Pz",
"schema": "resume-screening",
"version": 1,
"result": {
"python_depth": "strong",
"team_leadership": "tech lead",
"system_design": "strong",
"generalist": "broad"
},
"confidence": {
"python_depth": 0.625,
"team_leadership": 0.8167,
"system_design": 0.75,
"generalist": 0.7083
},
"scores": {
"python_depth": 4.35,
"team_leadership": 3.02,
"system_design": 4.1,
"generalist": 2.85
},
"composites": { "senior_ic": 0.7418, "eng_manager": 0.5982 },
"action": "continue",
"action_reason": { "type": "policy", "rule": 0 },
"metrics": {
"latency_ms": 391,
"engine": "jev",
"model": "jev-1.13.0",
"estimated_cost_usd": 0.0000189,
"input_tokens": 450,
"output_tokens": 47
}
}Как senior_ic был построен из взвешенных уровней в scores — уровней пять, поэтому каждое слагаемое равно (уровень − 1) / 4:
python_depth (4.35 − 1) / 4 = 0.8375 × 0.4
team_leadership (3.02 − 1) / 4 = 0.505 × 0.1
system_design (4.10 − 1) / 4 = 0.775 × 0.4
generalist (2.85 − 1) / 4 = 0.4625 × 0.1
senior_ic = 0.335 + 0.0505 + 0.31 + 0.04625 = 0.74175 → 0.7418 (the weights add up to 1)senior_ic равен 0.74, это выше 0.7: сработало правило 0, и кандидат проходит дальше как Senior IC. Обратите внимание: result содержит наиболее вероятный уровень каждого вопроса, а композиты используют взвешенный уровень — python_depth равен strong, но при 40% на expert его взвешенный уровень — 4.35.
Действия по результату
Ранжируйте кандидатов по композиту роли, на которую вы нанимаете, и пусть действие выбирает следующий шаг:
const screened = await Promise.all(resumes.map((resume) => decide("resume-screening", { resume: resume.text })));
const shortlist = screened
.map((decision, index) => ({ candidate: resumes[index], decision }))
.filter(({ decision }) => decision.action !== "block")
.sort((a, b) => b.decision.composites.senior_ic - a.decision.composites.senior_ic)
.slice(0, 10);Здесь decide — небольшая обёртка вокруг POST /v1/decisions/{slug}; готовую к продакшену см. в Идемпотентных повторах.
Настройка
- Меняйте веса, а не инструкции. Если лучшие кандидаты не совпадают с вашими ожиданиями, скорректируйте веса и опубликуйте новую версию; вопросы — и их калибровка — останутся прежними.
- Описывайте каждый уровень. Короткие метки работают, но рубрика для каждого уровня понятнее движку. Структурированный уровень сохраняет в API короткую метку:
{ "label": "strong", "rubric": "primary language across several projects" }. - Добавляйте измерения как вопросы. Новый критерий — это ещё один вопрос и ещё одно слагаемое, и по-прежнему один вызов.
- Используйте отрицательные веса для тревожных сигналов, например
− 2 × job_hoppingв композите. - Применяйте пороги, а не интерполируйте. Взвешенный уровень 4.35 означает «между strong и expert, ближе к strong» — это хорошо для ранжирования и порогов, но не для восстановления точного числа лет.
- Оставляйте человека в контуре. Отбор затрагивает людей: средняя полоса эскалируется, и даже
continueдолжно вести к собеседованию с человеком, а не к автоматическому решению.
См. также: Композиты · Квалификация лидов
Маршрутизация с порогом уверенности
Используйте уверенность как вторую ось — ответ говорит что, уверенность говорит, действовать ли, — с минимальной уверенностью на вопрос и правилами AND для действий. На основе шаблона Voice Banking.
Маршрутизация по намерению
Классифицируйте каждый запрос одним быстрым вызовом и направьте его самому дешёвому подходящему обработчику — коду, специализированной LLM или человеку. На основе шаблона Customer Service Router.