Playground

用真实数据测试草稿(包括未保存的修改),查看置信度和分布,预览目的地,比较多次运行和引擎,并重放过往执行记录中的输入。

Playground 会在你提供的状态上运行决策的草稿,并展示 API 会返回的所有内容,外加完整的分布。在部署之前,用它来反复打磨指令和选项描述。

可以从决策的 Playground 标签页打开它,也可以从侧边栏的 Playground 打开,再在那里选择一个决策。在该页面中,slug 与模板 id 相同的决策——例如 lead-qualification——会以模板的示例状态开始。

它运行什么

Playground 运行的是草稿,永远不是已部署的版本。从决策的 Playground 标签页打开时,它甚至会运行你尚未保存的修改;当草稿存在 schema 问题时,它会被阻止运行。侧边栏的 Playground 页面运行的是最近保存的草稿。当决策已上线时,页头会提醒你生产环境仍保持当前生效的版本。

运行一个状态

  1. 以 JSON 编写状态。对象状态写成对象;文本状态写成 JSON 字符串,例如 "Hi, I'd like pricing for 50 seats.";列表状态写成数组,例如 ["Hi!", "We're a team of 50 and want pricing."]。
  2. 使用示例根据状态 schema 生成一个状态,使用格式化美化 JSON。编辑器会显示字节大小以及 JSON 是否有效。
  3. 对于 image、audio 和 file 字段,在文件下附加文件——或者在音频字段上点击录音录制一段语音。运行时它们会被加入状态;参见输入。
  4. 点击运行决策,或按 ⌘/Ctrl + Enter。

查看结果

  • 类型化的 result、行动徽标以及用通俗语言说明的原因——匹配了策略规则 #1、“route”回答为“other”(没有合适的选项)、“route”的置信度 52% < 80%、引擎不可用(ENGINE_TIMEOUT);已应用 fallback 或未匹配任何规则。
  • 每个问题一条置信度条。展开后可以看到所有选项或级别上的分布——对于 score 问题,还有其加权级别(1 = 第一个级别),即使用加权级别的规则所比较的数值。出现接近平局或低于最低置信度的问题会自动展开。
  • 一张复合指标卡片,显示每个复合指标的值。
  • 延迟、模型、预估成本及输入 token 数,以及指向该执行记录的链接。

当引擎在设置了 onEngineError: "fallback" 的决策上出错时,会出现一条警告,说明决策以其 fallback 行动作答,且该调用不计费。

目的地

对于带有目的地的决策,结果末尾会有一张目的地卡片。默认情况下它只是预览,不会有任何内容离开 Dcision:固定回复会被渲染出来,LLM 目的地显示它们将发送的提示词,webhook、API 请求、工作流和智能体显示确切的请求——密钥会被遮盖为 ••••。

打开运行决策旁边的真实执行目的地,即可真正调用 LLM 和智能体并发送投递,投递标记为 livemode: false。卡片随后会跟踪每个投递——发送中、重试中、已送达或失败——并在失败时提供重新发送。参见测试目的地。

比较运行

从第二次运行开始,与上一次运行对比会列出每个回答以及前后的行动,并高亮显示变化之处——这是查看改写某条指令或选项描述后效果的最快方式。

比较引擎

运行决策旁边的比较引擎会同时在 Jev、Laya 和 OpenAI Decisions 上运行相同的状态和相同的草稿。随后引擎并排对比卡片按引擎显示:

  • 每个问题的回答及其置信度;
  • 行动;
  • 延迟和估算成本;
  • 该引擎失败时的错误码——工作区未在 设置 → 引擎 中设置的引擎为 ENGINE_NOT_CONFIGURED。

引擎之间存在分歧的行会被高亮。这算作三次 Playground 运行,每次都记录在执行记录中,并且目的地从不投递——即使打开了真实执行目的地也是如此。若要在生产流量上比较引擎,请使用影子模式;参见比较引擎与影子引擎。

重放过往输入

在执行记录中打开一次运行,点击在 Playground 中重新运行此输入:保存的状态会加载到该决策的 Playground 中,可以直接针对当前草稿运行。这是修改后进行回归测试的快捷方式。

重放需要已保存的输入,因此对于关闭了 storeInput 的决策,其执行记录无法重放。

代码片段

在结果下方,Playground 会针对当前状态以 cURL、TypeScript 和 Python 打印出同样的调用。它们指向已部署的端点,因此在决策部署后、并且你有一个 API 密钥时即可使用。

限制与成本

  • 在任何套餐中,Playground 的运行都不计费,也不占用你的月度用量。
  • 它们使用你工作区的引擎设置运行:如果使用你自己的服务商密钥,则由服务商向你计费。
  • 每个工作区每分钟最多 30 次运行、每天最多 2,000 次运行;超出后会得到 429 RATE_LIMITED——大批量请使用 API 密钥。
  • 每次运行都会记录在执行记录中,来源为 Playground,版本为 draft。
  • 运行 Playground 需要 Member 或更高的角色:Viewer 可以打开但不能运行——参见团队、角色与账户。

本页内容