引擎与 BYOK
决策运行在 Jev、Laya 或 OpenAI Decisions 上。可以使用 Dcision 在 TypeSafe 上的密钥,自带 OpenRouter、TypeSafe、Vercel AI Gateway 或 OpenAI 密钥,或在你自己的服务器上运行 Laya——以及成本、限制和错误。
引擎
Dcision 在三种引擎上运行决策。三者都是决策模型——它们返回决策和概率,而不是生成的文本——并且都回答相同的三种问题类型:choice、score 和 probability,每种都带有概率分布,Dcision 会把它转换为类型化的回答、置信度和加权级别。Jev 和 Laya 使用同一个 System One 契约;OpenAI Decisions 有自己的契约,由 Dcision 进行转换。
| 引擎 | metrics.engine | 是什么 | 运行在哪里 |
|---|---|---|---|
| Jev(默认) | "jev" | TypeSafe 的 System One 决策模型。 | TypeSafe、OpenRouter 或 Vercel AI Gateway——使用 Dcision 的密钥或你的密钥。 |
| Laya | "laya" | 由 Convai Innovations 开发的开源决策模型(Apache 2.0),322M–421M 参数。 | 一台 Laya 服务器:你自己的,或在可用时使用 Dcision 的。参见 Laya。 |
| OpenAI Decisions | "openai" | OpenAI 的 Decisions API(gpt-6-luna,公开测试版)。 | OpenAI,使用你的 OpenAI 密钥——或在可用时使用 Dcision 的。参见 OpenAI Decisions。 |
响应会在 metrics.engine 中报告引擎,并在 metrics.model 中报告作答的确切模型。
决策 schema 不依赖引擎:Dcision 把它编译为与引擎无关的表示,只有引擎适配器与模型通信。状态、决策的上下文和问题——文本或结构化 JSON——都以引擎原生的形态发送,一个决策的所有问题都在一个请求中发送。
由哪个引擎运行决策
设置 → 引擎设定工作区的默认引擎——在你修改之前为 Jev。决策可以在引擎与运行时 → 引擎中选择它自己的引擎(settings.engine);不选择时,它沿用默认引擎。每个引擎都保留自己的凭据和模型,因此一个工作区可以让大多数决策运行在 Jev 上,一个运行在 Laya 上,另一个运行在 OpenAI Decisions 上。
Jev:由谁发起引擎调用
在设置 → 引擎中选择(管理员和所有者)。该选择会立即应用于工作区中的每个 Jev 决策——Playground 和 API 都是如此。
| 选项 | 会发生什么 |
|---|---|
| Dcision 引擎密钥(默认) | Dcision 用它自己的密钥调用 TypeSafe(Jev 直连),已包含在你的套餐中。选择模型:默认为 jev-1.13.0。无需其他配置。 |
| 我自己的服务商密钥(BYOK) | Dcision 用你的密钥、在你选择的服务商和模型上调用引擎。服务商直接向你的账户计费。 |
使用 Dcision 密钥时的模型
| 模型 | 是什么 |
|---|---|
jev-1.13.0 | 固定版本(默认,推荐)。一个固定的版本:回答——以及置信度——不会在你不知情的情况下改变。 |
jev-latest | 最新的稳定版。TypeSafe 发布新版本时会随之变化。 |
jev-preview | 预览版本,在有可用版本时领先于 jev-latest。 |
当 TypeSafe 发布新版本时,别名会随之变化,因此它们背后的回答可能会在你这边没有任何改动的情况下发生变化。metrics.model 和执行日志始终记录作答的确切版本——即使你选择的是 jev-latest,也会记录为 jev-1.13.0。
固定模型版本
minConfidence 等阈值是针对某个模型调优的。生产环境的决策请使用固定版本 jev-1.13.0,并在 Playground 中重新测试后,按你自己的节奏迁移到新版本。
服务商
三者都提供相同的 System One 契约:
| 服务商 | 端点 | 模型 | 在哪里获取密钥 |
|---|---|---|---|
| OpenRouter | https://openrouter.ai/api/v1/systemone | typesafe/jev-1.13 | openrouter.ai/keys |
| TypeSafe(Jev 直连) | https://api.typesafe.ai/v1/systemone | jev-1.13.0(默认)、jev-latest、jev-preview | docs.typesafe.ai |
| Vercel AI Gateway | https://ai-gateway.vercel.sh/typesafe/v1/systemone | typesafe-ai/jev | vercel.com/docs/ai-gateway |
Laya
Laya 是一个开源的 System One 模型:没有按 token 计算的价格,在你部署它的地方运行——你的数据永远不会离开你的服务器。它的 laya-serve 服务器提供与 Jev 相同的 /v1/systemone 契约,因此 Dcision 用相同的问题调用它。
| 模型 | 是什么 |
|---|---|
auto | 默认。 Laya 的路由器根据输入的语言选择 checkpoint。metrics.model 会报告作答的那个,例如 laya/multilingual。 |
english | 英语 checkpoint(ModernBERT-large,421M)。最多读取 512 个 token。 |
multilingual | 100 多种语言(mmBERT,322M),速度最快。最多读取 1,024 个 token。 |
typed-decisions | 针对智能体可观测性和客户服务工作流进行了微调。最多读取 1,024 个 token。 |
运行你的 Laya 服务器
在 Dcision 可以通过公网 HTTPS 访问的主机上、在你的反向代理之后运行 laya-serve(Python 3.10+):
pip install "laya[serve]"
LAYA_API_KEY=<a long random secret> LAYA_PRELOAD=1 laya-serve # listens on :8000该项目还提供了 Dockerfile 以及适用于 CPU 和 CUDA 的 compose 文件。GPU 约 35 毫秒作答;CPU 每次决策需要几百毫秒。
在设置 → 引擎 → Laya 服务器中,输入服务器的 URL(https://laya.example.com——Dcision 会调用其上的 /v1/systemone),如果设置了 LAYA_API_KEY 也一并输入。点击保存服务器,然后点击测试。
选择 Laya 作为默认引擎——或在某个决策的设置中选择它——选择模型,然后点击保存引擎设置。
保护你的 Laya 服务器
除非设置了 LAYA_API_KEY,否则 laya-serve 没有身份验证。请在公开服务器之前设置它,并将其粘贴到 设置 → 引擎 中。Dcision 只调用公网 https:// 地址——绝不调用私有、回环或云元数据地址——并且不跟随重定向。
上下文比 Jev 短。 Laya 对状态和问题最多读取 512 个 token(english)或 1,024 个 token(multilingual、typed-decisions);更长的输入会被服务器截断。对于较长的状态,优先选择 multilingual 或继续使用 Jev。把决策迁移到 Laya 时,请在 Playground 中重新测试阈值(minConfidence、策略范围):每个模型都有自己的置信度特征。
OpenAI Decisions
OpenAI Decisions 是 OpenAI 用于针对输入给出类型化回答的 API(POST /v1/decisions)。它回答与 Jev 相同的三种问题类型,因此决策无需修改即可在其上运行:Dcision 会转换问题,并把回答规范化到相同的刻度上。
| 模型 | 是什么 |
|---|---|
gpt-6-luna | 默认,并且目前是 Decisions API(公开测试版)唯一的模型。metrics.model 记录作答的确切 id。 |
| Dcision | OpenAI Decisions | 说明 |
|---|---|---|
probability | predicate | yes/no 判定标准会被附加到指令后面。result 是概率;置信度为 ` |
choice | choice | 选项按顺序连同其描述变为 choices;保留的 other 选项仍位于最后。置信度来自 OpenAI。 |
score | score | 级别变为 levels(结构化级别的评分细则即其描述)。result 是最可能的级别,scores 是从 1 开始的加权级别。 |
| 状态 | input | 文本按原样发送;对象和列表以 JSON 文本发送。决策的 context 包含在其中,与 Jev 相同。 |
使用你的 OpenAI 密钥
在设置 → 引擎 → OpenAI 密钥中,粘贴一个来自 platform.openai.com/api-keys 的密钥——项目密钥即可——点击保存密钥,然后点击测试。
选择 OpenAI Decisions 作为默认引擎——或在某个决策的设置中选择它——并选择我的 OpenAI 密钥,然后点击保存引擎设置。Dcision 会调用 https://api.openai.com/v1/decisions;由 OpenAI 向你的账户计费。
拒绝作答。 OpenAI 可能会拒绝回答某个问题。运行仍然返回 200:被拒绝的问题在 result 中没有条目,其他问题保留各自的回答,决策则采取 fallback 行动,并带有 action_reason: { "type": "refusal", "question": … }——无论 onEngineError 如何设置都是如此,因为引擎确实给出了回答。
你的 OpenAI 账户的管控措施同样适用。 速率限制、零数据保留(Zero Data Retention)、HIPAA 和数据驻留都以该密钥背后的 OpenAI 项目为准。把决策迁移到 OpenAI 时,请在 Playground 中重新测试阈值(minConfidence、策略范围):每个模型都有自己的置信度特征。
GPT-Live
GPT-Live 是 OpenAI 的实时语音,它可以在用户说话时把带类型的决策委托给 OpenAI Decisions。Dcision 将已部署决策的问题导出为这种委托——GET /v1/decisions/{slug}/openai-live——并在会话的回答上运行决策的策略、目的地和执行日志——POST /v1/decisions/{slug}/openai-live/answers。这些调用按运行计费,metrics.engine: "openai",没有引擎成本:Live 会话由 OpenAI 计费。参见 GPT-Live 指南。
比较引擎与影子引擎
每个引擎都有自己的回答和置信度特征。在切换之前,有两个工具可以展示另一个引擎会如何回答你的决策:
| 工具 | 运行内容 | 成本 |
|---|---|---|
| Playground 中的比较引擎 | 编辑器中的状态,同时在 Jev、Laya 和 OpenAI Decisions 上运行。 | 三次 Playground 运行。 |
影子模式——settings.shadow | 一部分真实的生产运行,在后台同时在第二个引擎上运行。 | 不消耗 Dcision 额度。 |
在 Playground 中比较引擎
运行决策旁边的比较引擎会同时在三个引擎上运行相同的状态和相同的草稿。这算作三次 Playground 运行,记录在执行记录中;目的地从不投递。一张表格并排显示各引擎:每个问题的回答及其置信度、行动、延迟、估算成本,以及引擎失败时的错误码——工作区未设置的引擎为 ENGINE_NOT_CONFIGURED。引擎之间存在分歧的行会被高亮。
生产环境中的影子模式
设置 settings.shadow——在编辑器中为引擎与运行时 → 影子引擎和影子采样 (%)——然后部署。决策的一部分 API、webhook 和 MCP 运行(默认 10%)也会以完全相同的输入在影子引擎上运行。调用方始终得到主引擎的回答;影子回答保存在执行记录中,从不触发目的地。
影子运行不计入套餐包含的决策,也不消耗额度。使用你自己的服务商密钥或 OpenAI 密钥时,由服务商向你的账户计费。
决策的概览会显示一张影子模式卡片:两个引擎总体及每个问题的一致频率、影子运行和失败的次数,以及影子引擎的延迟中位数——参见概览与校准。当驱动你策略的问题一致率很高时,切换 settings.engine,并重新检查 minConfidence 等阈值。
自带密钥
在设置 → 引擎 → 服务商密钥中,把密钥粘贴到对应服务商旁边,然后点击保存密钥。
点击测试。Dcision 会用你的密钥运行一个很小的探测决策(在一行消息上运行“垃圾信息检测”模板),并显示模型和延迟,或者服务商返回的错误。该探测不会被记录为执行记录,但你的服务商可能会对其计费。
选择我自己的服务商密钥、服务商和模型,然后点击保存引擎设置。新的运行会立即使用它们。
如果你选择了我自己的服务商密钥,却没有为该服务商保存密钥,那么每次运行都会以 424 ENGINE_NOT_CONFIGURED 失败。
密钥如何受到保护
- 使用 AES-256-GCM 静态加密;API 从不返回它们——只显示最后 4 个字符。
- 从不写入日志,除了服务商的端点之外从不发送到任何地方。
- 只有管理员和所有者可以添加、替换、测试或移除它们;工作区中的其他人可以看到哪些服务商有密钥,以及其最后 4 个字符。
- 移除密钥会删除它。保存一个新密钥即可轮换。
用于 LLM 目的地的密钥
在这里保存的 OpenRouter 和 Vercel AI Gateway 密钥也用于 LLM 目的地——决策可以为某条路由生成的回答。即使引擎使用 Dcision 的密钥运行,这些回答也会使用它们,服务商会把它们的 token 费用计入你的账户。Dcision 的引擎密钥从不运行 LLM 目的地。
引擎的限制
- Token 预算。 Jev 读取一次状态,并针对它评估每个问题:状态加最长的问题约 32,000 个 token,状态加所有问题约 64,000 个 token。Dcision 会在调用前检查这两项,当状态超出时返回
422 INVALID_STATE——参见限制。 - 吞吐量。 TypeSafe 按每秒请求数和 token 数对每个账户进行限制。使用 Dcision 的密钥时,该限制由所有工作区共享,因此 Dcision 会平滑突发流量:调用会在其截止时间内等待空闲的名额,而不是立即失败。使用你自己的密钥时,以你的服务商账户的限制为准——在 OpenAI 上,即你的 OpenAI 项目的限制。
- 图片、音频和文档。 三种引擎都读取文本和 JSON。Dcision 会把文档读取为文本、转写音频,并且——由于 Jev 和 Laya 看不到图片——为它们把图片描述为文本;OpenAI Decisions 则以图片形式接收图片。参见输入。
成本
在 Laya 上,引擎成本就是你运行的服务器:Dcision 对 Laya 调用估算为 estimated_cost_usd: 0。成功的 API 运行仍计为一次计费决策。
在 OpenAI Decisions 上,价格为每 100 万输入 token 0.10 美元(不对输出或缓存收费):一次 375 个输入 token 的决策估算为 0.0000375。
在 Jev 上,每个响应都包含 metrics.input_tokens、metrics.output_tokens 和 metrics.estimated_cost_usd:调用的输入 token 数乘以模型价格。Jev 的价格为每 100 万输入 token 0.042 美元,不对输出 token 计费——它们只用于可观测性——因此一次 375 个输入 token 的决策估算为 0.00001575。这是对引擎成本的估算——便于比较决策——而不是你的 Dcision 账单。
一个决策的所有问题共享一次调用,因此增加一个问题只会给这次调用增加它自己的 token,而不会增加一个请求。
使用你自己的密钥时,由服务商对引擎调用计费。当调用通过 API 成功时,它仍会在你的 Dcision 套餐中计为一次计费决策。
引擎错误
| 代码 | 状态 | 原因 |
|---|---|---|
ENGINE_NOT_CONFIGURED | 424 | 所选服务商没有保存密钥,Laya 决策没有 Laya 服务器,OpenAI 决策没有 OpenAI 密钥,或 Dcision 的引擎密钥不可用。 |
ENGINE_AUTH_FAILED | 502 | 服务商拒绝了该密钥(401/403),或账户没有额度(402、OpenAI 的 429 insufficient_quota)。请在 设置 → 引擎 中检查。 |
ENGINE_RATE_LIMITED | 503 | 服务商过载或触发了速率限制(429/503/529),或 Dcision 的共享密钥在截止时间前没有空闲名额。 |
ENGINE_UNAVAILABLE | 503 | 服务商出错(5xx)或无法访问。 |
ENGINE_TIMEOUT | 504 | 在决策的 timeoutMs 内没有得到回答。 |
ENGINE_INVALID_REQUEST | 502 | 服务商拒绝了该请求;消息中包含其原因。Laya 服务器 URL 解析到私有或保留地址时也会出现此错误。 |
ENGINE_ERROR | 502 | 引擎的回答超出了契约(例如未知的选项)。 |
在决策的 timeoutMs 内,Dcision 会针对网络错误、429/503/529 以及其他 5xx 回复进行最多 2 次重试,并遵循服务商的 Retry-After——参见 timeoutMs。失败的运行会被记录为状态为错误的执行记录,且不计费。设置了 onEngineError: "fallback" 时,除 ENGINE_NOT_CONFIGURED 之外,此表中的每种错误都会变成带有决策 fallback 行动的 200。参见错误。