Выбор модели
Отправляйте каждый промпт самой дешёвой модели, которой его достаточно, — быстрой, средней или передовой — и действуйте осторожно, когда уровень неясен, с шаблоном «Выбор модели».
Цель: перестать отправлять каждый промпт самой дорогой модели. Дешёвое решение выбирает уровень; ваш код (или LLM-назначение) вызывает эту модель.
Создайте решение
Шаблоны → Выбор модели → Создать решение:
| Часть | Содержимое |
|---|---|
| State | prompt (string, обязательное) |
tier | choice — fast, balanced, frontier, other; минимальная уверенность 0.6 |
complexity | score — trivial, simple, moderate, hard, very hard |
| Политики | нет; действие fallback — fallback |
| Назначения | функция callModel с prompt и model = fast / balanced / frontier для каждого уровня; frontier_when_unsure при fallback |
Вызовите его
curl -X POST https://api.dcision.io/v1/decisions/model-routing \
-H "Authorization: Bearer $DCISION_API_KEY" \
-H "Content-Type: application/json" \
-d '{ "state": { "prompt": "Translate '"'"'good morning, how are you?'"'"' to Spanish." } }'Поле prompt в state — "Translate 'good morning, how are you?' to Spanish.".
{
"schema": "model-routing",
"result": { "tier": "fast", "complexity": "trivial" },
"confidence": { "tier": 0.91, "complexity": 0.88 },
"action": "continue",
"destinations": [{ "key": "fast_model", "type": "function", "function": "callModel", "params": { "prompt": "Translate 'good morning, how are you?' to Spanish.", "model": "fast" } }]
}Действуйте по результату
const MODELS = { fast: "openai/gpt-5-nano", balanced: "openai/gpt-5-mini", frontier: "anthropic/claude-opus-5-5" };
const call = decision.destinations.find((d) => d.function === "callModel");
return callModel(call.params.prompt, MODELS[call.params.model]);Настройте его
- Пусть модель вызывает Dcision: замените каждую функцию на LLM-назначение с вашим ключом OpenRouter или Vercel AI Gateway — ответ придёт в том же ответе API.
- Опишите свои уровни в описаниях вариантов, с примерами из вашего собственного трафика.
- Следите за вкладкой Обзор: если многие промпты попадают в
fallback, уточните варианты, прежде чем повышать порог.
Защита входа
Проверяйте, безопасно ли передавать промпт пользователя вашей LLM, и отвечайте на небезопасные готовым ответом без вызова модели — с шаблоном Input Guardrail.
Переранжирование документов
Оцените, насколько каждый найденный документ отвечает на запрос, отсортируйте кандидатов по оценке 0–1 и отбросьте нерелевантные — с шаблоном «Переранжирование документов».