AgentWorkflow 和 Grader，然后给出汇总分数与每个 sample 的结果。Platform 中可见的 runs 可以来自 eval submit 后的 managed execution，也可以来自通过 --upload 或 eval upload 发布的已完成本地 eval run。
概念
冒烟测试或正式评估
- 本地冒烟测试：使用
osmosis eval run和较小的[evaluation].limit，确认 rollout 能端到端运行，并且 grader 能给出有用的分数。 - 训练前的 managed 正式评估：使用
osmosis eval submit，并将[evaluation].limit设为数据集行数以评估全部行；否则 Osmosis 会随机抽取 10% 的样本。上传的本地结果不能替代该 managed full-size gate。
Evaluation Configuration 与 Evaluation Run
Evaluation Configuration 用于指定 model、dataset、AgentWorkflow 和评估设置。Evaluation Run 是该配置的一次执行。多次提交相同配置可比较随时间发生的变化。数据集输入模式
在 prompt mode 中，数据集行提供user_prompt，并通过 ground_truth 或其别名 label 提供参考答案。在 metadata mode 中，每行提供一个 metadata JSON 对象，供 AgentWorkflow 构造任务。Metadata mode 下的 Grader 可以使用 ctx.label、ctx.metadata 或两者；请按照所选数据集的 contract 编写 workflow 和 grader。
发布本地 Run
通过 rollout 的LocalBackend 或 Harbor backend 在本地运行，并在完成后发布：
eval upload 没有确认提示。它需要已认证的 workspace context，以及包含 manifest.json、index.jsonl、progress.json 和 metrics.json 的兼容 completed directory。Pending 和 cancelled runs 不能上传；failed 和 skipped samples 属于 terminal 状态，可以上传。
发布是 idempotent 且以 server 为准。中断后再次运行同一命令会返回相同的 platform run，并仅上传缺失的 server 文件。恢复一次被中断的上传无需额外参数。为一个已完成导入的 run 发布另一份结果则需要 --replace——重试后的 run 正是通过它替换已发布的内容。如果合并的 logs.txt 存在，它会被上传到该 run 的 Logs 标签页。在计算 hash 之前，CLI 会使用当前 process environment 中长度至少为 8 个字符的已知 provider 和 platform key 值再次脱敏；参见日志脱敏及其限制。Osmosis 会严格校验允许的 trajectories 与 artifacts，并重新计算 metrics，而不会启动 hosted 或 Temporal evaluation work。
提交 Managed Evaluation Run
提交configs/eval/ 下的 TOML 配置：
--yes 可跳过确认提示：
关键配置字段
branch 与 commit_sha 互斥。设置 branch 时，Osmosis 会在提交时解析一次 branch head，并把完整 commit SHA 存到 run 上。两个字段都省略时使用仓库默认分支。
完整 TOML 参考（包括
[env] 和 [secrets]）请参见 Config Files。n 表示每个所选数据集行的尝试次数。当 limit = L、n = N 时，Osmosis 最多运行 L * N 次评估；使用采样时为 sampled_rows * n。状态生命周期
监控
平台控制台
在 platform.osmosis.ai 打开独立的 Evaluation Runs 页面，可以按 status、dataset、model 和 rollout 搜索和筛选任务。上传的本地结果带有 Local badge，dirty Git provenance 会显示 warning。每个任务页面的侧栏会在对应值可用时显示 status、sample progress、duration、pass rate、tokens used、提交详情、dataset、model 和 rollout。 任务页面包含四个标签页：- Overview：汇总 reward statistics，并在 run 有足够尝试次数时显示 pass@k。
- Evaluation Samples：可搜索、可筛选的 sample 结果，包含 rewards、workflow messages、ground truth、grader metrics，以及存在时可下载的 artifacts。
- Configuration：rollout entrypoint、固定的 branch 或 commit、model、dataset、评估设置、已解析的 secret scopes 和 environment keys。
- Logs：该任务的 lifecycle events 与诊断信息。
CLI 命令
eval info 会在信息可用时显示 run context、timing、progress、configuration 和汇总结果。
管理评估任务
停止任务
stopped 状态。传入 --yes 可跳过确认提示。
重试失败的 Samples
每次 attempt 中，sample 会被归类为success、failed 或 skipped，其中 skipped 在不同来源下含义不同：managed run 在 attempt 超时且没有 grade 时记为 skipped，而 local run 则是在 grader 成功执行并设置 remove_sample 排除该行时记为 skipped。重试会重新运行 skipped 和 failed 的行，并保留所有 success，因此只保留一个 run，无需对账两个 run，并且只有重新运行的 samples 会消耗算力。
在 finished、failed 或 stopped 的 run 详情页点击 Retry run 会重新运行其未评分的 samples。CLI 中的等效命令：
--retry-failed --upload 一起会原地替换该 run 已发布的结果，因此 platform run 会保留其 ID 和 URL。本地细节参见重试失败的 Samples。
下一步
配置文件
评估 TOML config 参考。
数据集
上传并验证 evaluation runs 使用的数据集。
训练任务
Managed full-size evaluation gate 通过后，提交一次训练任务。