Webhooks

Webhooks 会在受支持的 run 进入终态时通知您的系统。对于 training、evaluation 和 benchmark run 的完成事件，Osmosis 会向您为 workspace 配置的 URL 发送 JSON POST。

设置

打开 Workspace Settings → Webhooks（仅限 owner 和 admin）：

输入您的 Webhook URL。必须使用 HTTPS 且端口为 443，并且解析到公网地址。指向私有或内部网络的 URL 会被拒绝。
打开 Deliver events 并点击 Save。
点击 Send test payload，确认您的接收端收到 webhook.test 事件。

关闭 Deliver events 可以暂停投递，且不会丢失已保存的 URL。如需移除 webhook，请清空 Webhook URL 并点击 Save。

事件

事件	发送时机
`training_run.completed`	Training run 进入终态时
`eval_run.completed`	Evaluation run 进入终态时
`benchmark_run.completed`	Benchmark run 进入终态时
`webhook.test`	点击 Send test payload 时

Payload

每个请求都是 Content-Type: application/json 的 POST，采用以下 envelope：

{
  "event": "training_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {}
}

`training_run.completed` 和 `eval_run.completed`

两种事件的 data 对象结构相同：

字段	说明
`id`	Run ID
`name`	Run 名称
`status`	Run 的终态，例如 `finished`、`failed` 或 `stopped`
`started_at`	ISO 8601 格式的开始时间；run 从未启动时为 `null`
`completed_at`	ISO 8601 格式的完成时间；不可用时为 `null`
`duration_seconds`	Run 总时长（秒）；没有可用时长时为 `null`
`model_name`	Run 使用的 model 名称，或 `null`
`dataset`	Dataset 的 `{ "id", "name" }`，或 `null`
`rollout`	Rollout 的 `{ "id", "name" }`，或 `null`
`platform_url`	Run 详情页链接
`latest_metrics`	Training：每个可用 metric 的最新记录值。Evaluation：最终汇总结果，在可用时包含 `reward_stats`

Training run 示例：

{
  "event": "training_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {
    "id": "a1b2c3d4-0000-0000-0000-000000000000",
    "name": "my-training-run",
    "status": "finished",
    "started_at": "2026-07-15T20:01:12+00:00",
    "completed_at": "2026-07-15T22:14:03+00:00",
    "duration_seconds": 7971,
    "model_name": "Qwen3-8B",
    "dataset": { "id": "d1e2f3a4-0000-0000-0000-000000000000", "name": "my-dataset" },
    "rollout": { "id": "r1s2t3u4-0000-0000-0000-000000000000", "name": "my-rollout" },
    "platform_url": "https://platform.osmosis.ai/my-workspace/training/a1b2c3d4-0000-0000-0000-000000000000",
    "latest_metrics": {
      "rollout/raw_reward": 0.82,
      "eval/validation/reward": 0.79,
      "train/entropy_loss": 1.24,
      "rollout/response_lengths": 512,
      "rollout/total_lengths": 1930,
      "rollout/truncated_ratio": 0.03
    }
  }
}

Evaluation run 的 latest_metrics 则包含汇总结果：

"latest_metrics": {
  "total_runs": 200,
  "graded": 198,
  "passed": 154,
  "failed": 44,
  "skipped": 2,
  "pass_rate": 0.78,
  "pass_threshold": 0.5,
  "score": 0.71,
  "reward_stats": {
    "mean": 0.71,
    "median": 0.74,
    "std": 0.18,
    "min": 0.05,
    "max": 0.98,
    "pass_at_k": { "1": 0.78, "4": 0.91 }
  },
  "total_tokens": 1834520,
  "total_duration_ms": 5421000
}

`benchmark_run.completed`

字段	说明
`id`	Benchmark run ID
`name`	Run 名称
`status`	Run 的终态，例如 `finished`、`failed` 或 `stopped`
`benchmark_name`	Benchmark 名称
`started_at`	ISO 8601 格式的开始时间；run 从未启动时为 `null`
`completed_at`	ISO 8601 格式的完成时间；不可用时为 `null`
`duration_seconds`	Run 总时长（秒）；没有可用时长时为 `null`
`platform_url`	Benchmark run 详情页链接
`agents`	Run 中每个 agent 的一项结果摘要

agents 中的每个对象包含：

字段	说明
`id`	Benchmark run agent ID
`agent_index`	Agent 在 run config 中从零开始的位置
`label`	Agent 的展示名称
`model`	Model identifier，或 `null`
`tasks`	结果摘要中包含的 task 数量
`attempts`	结果摘要中包含的 attempt 数量
`passed`	通过的 attempt 数量
`pass_rate`	通过的 attempts 除以总 attempts；`attempts` 为零时为 `null`

{
  "event": "benchmark_run.completed",
  "timestamp": "2026-07-15T22:14:05.123456+00:00",
  "data": {
    "id": "b1c2d3e4-0000-0000-0000-000000000000",
    "name": "terminal-bench-smoke",
    "status": "finished",
    "benchmark_name": "Terminal-Bench 2.1",
    "started_at": "2026-07-15T21:40:00+00:00",
    "completed_at": "2026-07-15T22:14:03+00:00",
    "duration_seconds": 2043,
    "platform_url": "https://platform.osmosis.ai/my-workspace/benchmarks/runs/b1c2d3e4-0000-0000-0000-000000000000",
    "agents": [
      {
        "id": "c1d2e3f4-0000-0000-0000-000000000000",
        "agent_index": 0,
        "label": "codex",
        "model": "openai/gpt-5.2",
        "tasks": 10,
        "attempts": 10,
        "passed": 7,
        "pass_rate": 0.7
      }
    ]
  }
}

`webhook.test`

字段	说明
`workspace`	Workspace 名称
`message`	确认消息

投递

每次尝试的超时时间为 5 秒。投递失败最多重试 2 次，并采用退避策略。
重试可能产生重复投递。对于 run completion 事件，请使用 event + data.id 这一组合实现幂等处理。
任何 2xx 响应都视为投递成功。不会跟随重定向。
投递为尽力而为。Webhook 投递失败不会影响 run，Osmosis 不保证每个事件都能到达您的接收端。

安全

Webhook 请求目前没有签名，因此 payload 本身不能证明请求来自 Osmosis。请使用不会在其他位置公开的专用高熵 HTTPS URL，在处理前验证 JSON schema 和预期的 event 值，并应用上述幂等规则。不要仅根据未经验证的 payload 字段触发 privileged actions。如果需要签名认证，请将 webhook 放在您控制的 gateway 后，并实施自己的 receiver policy。

开始使用

运行

资源

工作区

设置

事件

Payload

`training_run.completed` 和 `eval_run.completed`

`benchmark_run.completed`

`webhook.test`

投递

安全

​设置

​事件

​Payload

​training_run.completed 和 eval_run.completed

​benchmark_run.completed

​webhook.test

​投递

​安全

设置

事件

Payload

`training_run.completed` 和 `eval_run.completed`

`benchmark_run.completed`

`webhook.test`

投递

安全