Композитная оценка

Разбейте суждение на атомарные оценки и объедините их с весами, которые вы контролируете, — композиты вычисляет Dcision, и их можно использовать в политиках. На основе шаблона Resume Screening.

Разбейте сложное суждение на независимые измерения, оцените каждое отдельно и объедините их с весами, которые вы контролируете, — в решении, а не в промпте. Один широкий вопрос («хороший ли это кандидат?») прячет за одним ответом несколько суждений; атомарные оценки делают их видимыми, чтобы вы могли их изучать, настраивать и комбинировать.

Преимущества: стоимость, надёжность и скорость. Руководство TypeSafe: Composite scoring.

Почему это работает

  • Каждое измерение — небольшой буквальный вопрос, на такие Jev отвечает лучше всего, и все ответы приходят за один вызов.
  • Математика остаётся вне модели. Dcision точно вычисляет взвешенную комбинацию; Jev хорош в суждениях и слаб в арифметике.
  • Видно, как получилась оценка. Каждое слагаемое есть в ответе, поэтому, когда ранжирование вас удивляет, вы знаете, какое измерение — или какой вес — менять.
  • Несколько ранжирований из одних и тех же ответов. Два композита по одним и тем же четырём вопросам ничего не стоят дополнительно: ни нового вопроса, ни нового вызова движка.

Когда использовать

Ранжирование или квалификация по нескольким критериям: оценки лидов, соответствие резюме, риск поставщика, качество контента, приоритет бэклога. Каждый раз, когда вы написали бы «учти A, B и C» в одной инструкции, спросите A, B и C отдельно и объедините их.

Как это ложится на Dcision

В руководстве TypeSafeВ Dcision
Один вопрос score на измерениеОдин вопрос score (или probability, или choice) на измерение
py = answers["python_depth"].score / 4Автоматически: слагаемое score нормализуется к 0–1 как (взвешенный уровень − 1) / (уровни − 1)
ic_score = 0.40 * py + 0.10 * lead + … в вашем кодеКомпозит с этими весами: Σ(вес × значение) / Σ|вес|
Ранжирование и фильтрация в кодеЧитайте composites в ответе и используйте композиты в правилах, чтобы задавать action

Сборка

В приложении

Откройте Шаблоны и выберите Отбор резюме (композитная оценка). Назовите решение Resume Screening, чтобы его slug был resume-screening, затем нажмите Создать решение.

У State одно обязательное строковое поле — resume.

Четыре вопроса score, по пять уровней каждый, по одному на измерение:

ВопросУровни, от низшего к высшему
python_depthnone, basic, working, strong, expert
team_leadershipnone, informal, tech lead, manager, manager of managers
system_designnone, basic, working, strong, expert
generalistnarrow, some, broad, very broad, full stack and ops

В карточке Композиты (вкладка «Редактор») дважды нажмите Добавить композит:

  • senior_ic — Senior IC fit: depth and design first: 0.4 × python_depth + 0.1 × team_leadership + 0.4 × system_design + 0.1 × generalist.
  • eng_manager — Engineering Manager fit: leadership first: 0.15 × python_depth + 0.4 × team_leadership + 0.2 × system_design + 0.25 × generalist.

В Политиках композиты появляются в списке полей в группе Композиты:

  1. IF senior_ic ≥ 0.7 — THEN continue.
  2. IF eng_manager ≥ 0.7 — THEN continue.
  3. IF senior_ic < 0.35, + AND eng_manager < 0.35 — THEN block.
  4. IF senior_ic < 0.7 — THEN escalate: средняя полоса уходит рекрутеру.

Проверьте несколько резюме в Playground — карточка Композиты показывает оба значения, — затем нажмите Опубликовать v1.

Схема решения

{
  "stateSchema": {
    "kind": "object",
    "fields": [{ "key": "resume", "type": "string", "required": true, "description": "Resume text" }]
  },
  "questions": [
    { "key": "python_depth", "type": "score", "instructions": "How deep is the candidate's Python experience?", "scale": ["none", "basic", "working", "strong", "expert"] },
    { "key": "team_leadership", "type": "score", "instructions": "How much team leadership has the candidate shown?", "scale": ["none", "informal", "tech lead", "manager", "manager of managers"] },
    { "key": "system_design", "type": "score", "instructions": "How strong is the candidate's system design experience?", "scale": ["none", "basic", "working", "strong", "expert"] },
    { "key": "generalist", "type": "score", "instructions": "How broad is the candidate's experience across the stack?", "scale": ["narrow", "some", "broad", "very broad", "full stack and ops"] }
  ],
  "composites": [
    {
      "key": "senior_ic",
      "description": "Senior IC fit: depth and design first",
      "terms": [
        { "question": "python_depth", "weight": 0.4 },
        { "question": "team_leadership", "weight": 0.1 },
        { "question": "system_design", "weight": 0.4 },
        { "question": "generalist", "weight": 0.1 }
      ]
    },
    {
      "key": "eng_manager",
      "description": "Engineering Manager fit: leadership first",
      "terms": [
        { "question": "python_depth", "weight": 0.15 },
        { "question": "team_leadership", "weight": 0.4 },
        { "question": "system_design", "weight": 0.2 },
        { "question": "generalist", "weight": 0.25 }
      ]
    }
  ],
  "policies": [
    { "field": "senior_ic", "on": "output", "operator": "gte", "value": 0.7, "action": "continue" },
    { "field": "eng_manager", "on": "output", "operator": "gte", "value": 0.7, "action": "continue" },
    {
      "field": "senior_ic",
      "on": "output",
      "operator": "lt",
      "value": 0.35,
      "and": [{ "field": "eng_manager", "on": "output", "operator": "lt", "value": 0.35 }],
      "action": "block"
    },
    { "field": "senior_ic", "on": "output", "operator": "lt", "value": 0.7, "action": "escalate" }
  ]
}

Вызов

curl -X POST https://api.dcision.io/v1/decisions/resume-screening \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -H "Idempotency-Key: candidate-3307" \
  -d '{
    "state": {
      "resume": "8 years building Python services (Django, FastAPI). Designed the event pipeline for 20M users at a fintech. Tech lead of 4 engineers for 2 years. Some Terraform and on-call experience."
    }
  }'
200 OK
{
  "decision_id": "dec_Hn6Vx2Kq8Zt4Wm1Lp7Rc",
  "execution_id": "exec_Cs9Lw3Tq7Xm1Vn5Kd8Pz",
  "schema": "resume-screening",
  "version": 1,
  "result": {
    "python_depth": "strong",
    "team_leadership": "tech lead",
    "system_design": "strong",
    "generalist": "broad"
  },
  "confidence": {
    "python_depth": 0.625,
    "team_leadership": 0.8167,
    "system_design": 0.75,
    "generalist": 0.7083
  },
  "scores": {
    "python_depth": 4.35,
    "team_leadership": 3.02,
    "system_design": 4.1,
    "generalist": 2.85
  },
  "composites": { "senior_ic": 0.7418, "eng_manager": 0.5982 },
  "action": "continue",
  "action_reason": { "type": "policy", "rule": 0 },
  "metrics": {
    "latency_ms": 391,
    "engine": "jev",
    "model": "jev-1.13.0",
    "estimated_cost_usd": 0.0000189,
    "input_tokens": 450,
    "output_tokens": 47
  }
}

Как senior_ic был построен из взвешенных уровней в scores — уровней пять, поэтому каждое слагаемое равно (уровень − 1) / 4:

python_depth     (4.35 − 1) / 4 = 0.8375   × 0.4
team_leadership  (3.02 − 1) / 4 = 0.505    × 0.1
system_design    (4.10 − 1) / 4 = 0.775    × 0.4
generalist       (2.85 − 1) / 4 = 0.4625   × 0.1
senior_ic = 0.335 + 0.0505 + 0.31 + 0.04625 = 0.74175 → 0.7418   (the weights add up to 1)

senior_ic равен 0.74, это выше 0.7: сработало правило 0, и кандидат проходит дальше как Senior IC. Обратите внимание: result содержит наиболее вероятный уровень каждого вопроса, а композиты используют взвешенный уровень — python_depth равен strong, но при 40% на expert его взвешенный уровень — 4.35.

Действия по результату

Ранжируйте кандидатов по композиту роли, на которую вы нанимаете, и пусть действие выбирает следующий шаг:

const screened = await Promise.all(resumes.map((resume) => decide("resume-screening", { resume: resume.text })));

const shortlist = screened
  .map((decision, index) => ({ candidate: resumes[index], decision }))
  .filter(({ decision }) => decision.action !== "block")
  .sort((a, b) => b.decision.composites.senior_ic - a.decision.composites.senior_ic)
  .slice(0, 10);

Здесь decide — небольшая обёртка вокруг POST /v1/decisions/{slug}; готовую к продакшену см. в Идемпотентных повторах.

Настройка

  • Меняйте веса, а не инструкции. Если лучшие кандидаты не совпадают с вашими ожиданиями, скорректируйте веса и опубликуйте новую версию; вопросы — и их калибровка — останутся прежними.
  • Описывайте каждый уровень. Короткие метки работают, но рубрика для каждого уровня понятнее движку. Структурированный уровень сохраняет в API короткую метку: { "label": "strong", "rubric": "primary language across several projects" }.
  • Добавляйте измерения как вопросы. Новый критерий — это ещё один вопрос и ещё одно слагаемое, и по-прежнему один вызов.
  • Используйте отрицательные веса для тревожных сигналов, например − 2 × job_hopping в композите.
  • Применяйте пороги, а не интерполируйте. Взвешенный уровень 4.35 означает «между strong и expert, ближе к strong» — это хорошо для ранжирования и порогов, но не для восстановления точного числа лет.
  • Оставляйте человека в контуре. Отбор затрагивает людей: средняя полоса эскалируется, и даже continue должно вести к собеседованию с человеком, а не к автоматическому решению.

См. также: Композиты · Квалификация лидов

На этой странице