Skip to main content
使用 benchmark commands 在公开 task set 上比较 agents。Benchmark config 用于选择 tasks、agent harnesses、models 和 execution settings；它不引用 workspace rollout code。
Benchmarks 处于 beta 阶段，按账号开通；未开通时 CLI 会返回 Benchmarks is not available for your account。此外，benchmark 必须已经存在于 workspace 中。Osmosis-managed benchmarks 会自动添加；Harbor registry benchmark 需要先从 Platform 添加，然后才能用于 CLI config。

​
快速开始

在 workspace repository 内运行：
然后查看该 run：

​
Benchmark 配置

请从一个 task、一个 agent 和一次 attempt 开始。Task sets、categories、多个 agents、custom endpoints、hosted models、judges、verifiers 和 execution controls 请参见 Config Files。
configs/benchmark/terminal-bench-smoke.toml
api_key_secret 是 Platform secret record 名称，而不是 credential value。提交前请注册 config 引用的所有 model、harness、judge 和 verifier secrets。
Benchmark run 会产生 sandbox 和 model 费用，model 花费使用您的 provider keys。扩大 task selection 或 concurrency 前，请先运行一个 task 和一次 attempt。

​
工作方式

1

查看 benchmark

benchmark list 显示 workspace 可以运行的 benchmarks。benchmark info 会报告准确 key、task manifest、categories、命名 task sets、支持的 harnesses、judge 要求、pass threshold、leaderboard 和已有 runs。
2

选择 tasks 和 agents

省略 [tasks] 会运行完整 benchmark；也可以选择明确的 task names、categories 或公开 task set。每个要比较的 agent 添加一个 [[agents]] 条目。
3

预览并提交

benchmark submit 会校验 benchmark、task selection、harnesses、models、execution controls 和 secret references，然后在确认前预览解析后的 run。
4

执行并评分

Osmosis 会在 benchmark-managed environments 中，让每个 agent 使用相同的 task selection 和 attempt budget。Run 会记录 outcomes、pass@k metrics、cost、duration、tokens，以及可用的 logs 和 artifacts。

​
命令

完整 flag 列表请参见 命令参考。

​
下载 Run 输出

默认下载包含 summary 和 task-result CSV 文件。可选 selector 可以加入 artifacts 和 logs。下载使用固定 run directory；除非设置 --overwrite，否则会跳过完整的本地文件，并且可以通过再次运行同一命令继续下载。

​
下一步

配置文件

配置 tasks、agents、models、judges 和 execution。

Platform Benchmarks

添加 benchmarks、查看 leaderboards 并了解 result eligibility。

命令参考

查看所有 benchmark commands 和 options。
最后修改于 2026年8月10日