Выбор модели

Отправляйте каждый промпт самой дешёвой модели, которой его достаточно, — быстрой, средней или передовой — и действуйте осторожно, когда уровень неясен, с шаблоном «Выбор модели».

Цель: перестать отправлять каждый промпт самой дорогой модели. Дешёвое решение выбирает уровень; ваш код (или LLM-назначение) вызывает эту модель.

Создайте решение

Шаблоны → Выбор модели → Создать решение:

ЧастьСодержимое
Stateprompt (string, обязательное)
tierchoice — fast, balanced, frontier, other; минимальная уверенность 0.6
complexityscore — trivial, simple, moderate, hard, very hard
Политикинет; действие fallback — fallback
Назначенияфункция callModel с prompt и model = fast / balanced / frontier для каждого уровня; frontier_when_unsure при fallback

Вызовите его

curl -X POST https://api.dcision.io/v1/decisions/model-routing \
  -H "Authorization: Bearer $DCISION_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'

Поле prompt в state — "Translate 'good morning, how are you?' to Spanish.".

200 OK (сокращено)
{
  "schema": "model-routing",
  "result": { "tier": "fast", "complexity": "trivial" },
  "confidence": { "tier": 0.91, "complexity": 0.88 },
  "action": "continue",
  "destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}

Действуйте по результату

const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);

Настройте его

  • Пусть модель вызывает Dcision: замените каждую функцию на LLM-назначение с вашим ключом OpenRouter или Vercel AI Gateway — ответ придёт в том же ответе API.
  • Опишите свои уровни в описаниях вариантов, с примерами из вашего собственного трафика.
  • Следите за вкладкой Обзор: если многие промпты попадают в fallback, уточните варианты, прежде чем повышать порог.

На этой странице