跳转到主要内容

构建实验

当你想在同一数据集上比较一个或多个候选项时,创建一个实验。

如何创建实验?

打开 Experiments 点击 Add Experiment 输入名称和可选描述。 如果已有数据集,选择一个。 点击 Add Experiment 你也可以先创建实验,然后在运行前再附加或更改数据集。

运行前应添加什么?

在开始一次运行前,请确认实验包含:
  • 一个数据集版本
  • 至少一个活跃的候选项
  • 与你预期使用的提示词或智能体输入相匹配的输入列
对于提示词,尽量让 CSV 输入列名与提示词变量一致。 对于智能体,使用能清楚表达行意图的列,例如 questiontaskcontextcustomer_message

实验该如何命名?

使用能说明对比内容的名称。 好的示例:
  • Support FAQ prompt model comparison
  • Invoice extraction agent regression
  • Refund policy prompt v3 vs deployed
避免使用 TestExperiment 1 这类泛泛的名称。

编辑实验

打开实验。 使用面包屑中的下拉菜单编辑实验名称或描述。 当你不再需要在主列表中显示该实验时,从同一菜单使用 Archive 归档的实验会从默认实验列表中隐藏。

可复现性

实验在设计上是可重复的。 数据集版本是不可变的。候选项会作为快照被捕获。这意味着过去的一次运行仍然指向当时使用的数据集行和候选项配置。 如果你之后更改了提示词或智能体,请将其作为新的候选项添加,或开始一项新的实验,以便对比保持清晰。 另请参阅:数据集添加候选项运行实验