Webhooks

Webhooks 会在受支持的 run 进入终态时通知您的系统。对于 training、evaluation 和 benchmark run 的完成事件，Osmosis 会向您为 workspace 配置的 URL 发送 JSON POST。

设置

打开 Workspace Settings → Webhooks。任何 workspace 成员都可以查看该页面和投递记录。只有 owner 和 admin 可以编辑 URL、开关投递或发送测试 payload：

输入您的 Webhook URL。必须使用 HTTPS 且端口为 443，并且解析到公网地址。指向私有或内部网络的 URL 会被拒绝。
打开 Deliver events 并点击 Save。
点击 Send test payload，确认您的接收端收到 webhook.test 事件。

关闭 Deliver events 可以暂停投递，且不会丢失已保存的 URL。如需移除 webhook，请清空 Webhook URL 并点击 Save。

事件

事件	发送时机
`training_run.completed`	Training run 进入终态时
`eval_run.completed`	Evaluation run 进入终态时
`benchmark_run.completed`	Benchmark run 进入终态时
`webhook.test`	点击 Send test payload 时

Payload

每个请求都是 Content-Type: application/json 的 POST，采用以下 envelope：

{
  "event": "training_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {}
}

`training_run.completed` 和 `eval_run.completed`

两种事件的 data 对象结构相同：

字段	说明
`id`	Run ID
`name`	Run 名称
`status`	Run 的终态，例如 `finished`、`failed` 或 `stopped`
`started_at`	ISO 8601 格式的开始时间；run 从未启动时为 `null`
`completed_at`	ISO 8601 格式的完成时间；不可用时为 `null`
`duration_seconds`	Run 总时长（秒）；没有可用时长时为 `null`
`model_name`	Run 使用的 model 名称，或 `null`
`dataset`	Dataset 的 `{ "id", "name" }`，或 `null`
`rollout`	Rollout 的 `{ "id", "name" }`，或 `null`
`platform_url`	Run 详情页链接
`latest_metrics`	Training：每个可用 metric 的最新记录值。Evaluation：最终汇总结果，在可用时包含 `reward_stats`

Training run 示例：

{
  "event": "training_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {
    "id": "a1b2c3d4-0000-0000-0000-000000000000",
    "name": "my-training-run",
    "status": "finished",
    "started_at": "2026-07-15T20:01:12+00:00",
    "completed_at": "2026-07-15T22:14:03+00:00",
    "duration_seconds": 7971,
    "model_name": "Qwen3-8B",
    "dataset": { "id": "d1e2f3a4-0000-0000-0000-000000000000", "name": "my-dataset" },
    "rollout": { "id": "r1s2t3u4-0000-0000-0000-000000000000", "name": "my-rollout" },
    "platform_url": "https://platform.osmosis.ai/my-workspace/training/a1b2c3d4-0000-0000-0000-000000000000",
    "latest_metrics": {
      "rollout/raw_reward": 0.82,
      "eval/validation/reward": 0.79,
      "train/entropy_loss": 1.24,
      "rollout/response_lengths": 512,
      "rollout/total_lengths": 1930,
      "rollout/truncated_ratio": 0.03
    }
  }
}

Evaluation run 的 latest_metrics 则包含汇总结果：

"latest_metrics": {
  "total_runs": 200,
  "graded": 198,
  "passed": 154,
  "failed": 44,
  "skipped": 2,
  "pass_rate": 0.78,
  "pass_threshold": 0.5,
  "score": 0.71,
  "reward_stats": {
    "mean": 0.71,
    "median": 0.74,
    "std": 0.18,
    "min": 0.05,
    "max": 0.98,
    "pass_at_k": { "1": 0.78, "4": 0.91 }
  },
  "total_tokens": 1834520,
  "total_duration_ms": 5421000
}

`benchmark_run.completed`

字段	说明
`id`	Benchmark run ID
`name`	Run 名称
`status`	Run 的终态，例如 `finished`、`failed` 或 `stopped`
`benchmark_name`	Benchmark 名称
`started_at`	ISO 8601 格式的开始时间；run 从未启动时为 `null`
`completed_at`	ISO 8601 格式的完成时间；不可用时为 `null`
`duration_seconds`	Run 总时长（秒）；没有可用时长时为 `null`
`platform_url`	Benchmark run 详情页链接
`agents`	Run 中每个 agent 的一项结果摘要

agents 中的每个对象包含：

字段	说明
`id`	Benchmark run agent ID
`agent_index`	Agent 在 run config 中从零开始的位置
`label`	Agent 的展示名称
`model`	Model identifier，或 `null`
`tasks`	结果摘要中包含的 task 数量
`attempts`	结果摘要中包含的 attempt 数量
`passed`	通过的 attempt 数量
`pass_rate`	通过的 attempts 除以总 attempts；`attempts` 为零时为 `null`

{
  "event": "benchmark_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {
    "id": "b1c2d3e4-0000-0000-0000-000000000000",
    "name": "terminal-bench-smoke",
    "status": "finished",
    "benchmark_name": "Terminal-Bench 2.1",
    "started_at": "2026-07-15T21:40:00+00:00",
    "completed_at": "2026-07-15T22:14:03+00:00",
    "duration_seconds": 2043,
    "platform_url": "https://platform.osmosis.ai/my-workspace/benchmarks/runs/b1c2d3e4-0000-0000-0000-000000000000",
    "agents": [
      {
        "id": "c1d2e3f4-0000-0000-0000-000000000000",
        "agent_index": 0,
        "label": "codex",
        "model": "openai/gpt-5.2",
        "tasks": 10,
        "attempts": 10,
        "passed": 7,
        "pass_rate": 0.7
      }
    ]
  }
}

`webhook.test`

字段	说明
`workspace`	Workspace 名称
`message`	确认消息

投递

每次尝试的超时时间为 5 秒。投递失败最多重试 2 次，并采用退避策略。
重试可能产生重复投递。对于 run completion 事件，请使用 event + data.id 这一组合实现幂等处理。
任何 2xx 响应都视为投递成功。不会跟随重定向。
投递为尽力而为。Webhook 投递失败不会影响 run，Osmosis 不保证每个事件都能到达您的接收端。
每次投递都会连同最终结果记录在 Recent deliveries 中，方便您查看 Osmosis 发送了什么以及接收端如何响应。

Recent deliveries

Workspace Settings → Webhooks 会在 webhook 表单下方列出最近 30 天内的每次投递。任何 workspace 成员都可以查看该列表；编辑 webhook 仍需 owner 或 admin 权限。每一行显示：

列	说明
Event	事件名称；对于 run 事件，还会显示链接到详情页的 run 名称
Status	接收端返回 2xx 时为 Delivered，否则为 Failed
Response	最后一次尝试的 HTTP 状态码。未收到响应时则显示原因：Timed out、Unreachable 或 Rejected（URL 未通过验证，因此没有发送任何请求）
Attempts	Osmosis 发起的请求次数（包含重试）。`0` 表示 URL 在第一次请求之前就被拒绝
Sent	最后一次尝试结束的时间

点击某一行即可打开该次投递。Request 标签页显示 Osmosis 发送的完整 JSON body。Response 标签页显示 HTTP 状态以及接收端响应 body 的前 2 KB；如果没有收到响应，则显示传输错误。可以按事件或状态筛选列表，以定位某次具体的投递。通过 Send test payload 发送的测试 payload 会像其他事件一样出现在列表中，因此查看 payload 最快的方式就是发送一次并打开对应的行。投递记录保留 30 天后删除。关闭 Deliver events 期间不会记录任何内容，因为不会发起请求。

Osmosis 会存储接收端响应 body 的前 2 KB 以便您排查失败原因。请不要在 webhook 响应中回显 secret 或其他敏感数据。

安全

Webhook 请求目前没有签名，因此 payload 本身不能证明请求来自 Osmosis。请使用不会在其他位置公开的专用高熵 HTTPS URL，在处理前验证 JSON schema 和预期的 event 值，并应用上述幂等规则。不要仅根据未经验证的 payload 字段触发 privileged actions。如果需要签名认证，请将 webhook 放在您控制的 gateway 后，并实施自己的 receiver policy。

开始使用

运行

资源

工作区

设置

事件

Payload

`training_run.completed` 和 `eval_run.completed`

`benchmark_run.completed`

`webhook.test`

投递

Recent deliveries

安全

​设置

​事件

​Payload

​training_run.completed 和 eval_run.completed

​benchmark_run.completed

​webhook.test

​投递

​Recent deliveries

​安全

设置

事件

Payload

`training_run.completed` 和 `eval_run.completed`

`benchmark_run.completed`

`webhook.test`

投递

Recent deliveries

安全