模型 - Osmosis AI Docs

Models 页面用于管理作为训练起点的 Base Models，以及由 training runs 生成且可通过 Osmosis inference 部署的 LoRA Models checkpoints。

Base Models

Base models 从 Hugging Face 导入，并作为在 Osmosis 上训练的起点。

默认 Base Models

新 workspace 默认包含以下 base models：

模型	说明
`Qwen/Qwen3-4B`	Qwen 3 4B dense；training 目前支持的 base model
`Qwen/Qwen3.6-35B-A3B`	Qwen 3.6 35B，3B active parameters（MoE）
`Qwen/Qwen3.5-122B-A10B`	Qwen 3.5 122B，10B active parameters（MoE）

您 workspace 中的 Models 页面是该 workspace 可用 base models 的权威来源。

如果 Models 页面显示 Add Model，您可以用它导入自己有权访问的 Hugging Face model repository。

列出 Base Models

osmosis model list --type base

Base model 列表会显示 model name、creation date 和 creator。

查看 Base Model

osmosis model info Qwen/Qwen3-4B

CLI 显示 Hugging Face path、parameter count、context window、Hugging Face URL，以及 input、cached input 和 output 的 inference price，单位是美元/百万 token。未设置的价格显示为 –；JSON 字段见 model info。在 Platform 中，点击 Models 页面上的 base model 卡片即可查看详情。

LoRA Models

LoRA models 是 training runs 产生的已训练 checkpoints。Models 页面会将它们与 base models 分开列出，并显示 training run、checkpoint step、training reward、creation date，以及您的账号可用 inference deployment 时的 deployment status。

查看 LoRA Models

列出 LoRA models：

osmosis model list --type lora

显示单个 LoRA model 的详情：

osmosis model info <lora-model-name>

Model 详情包含 base model、training run、checkpoint step、training reward、Hugging Face 发布状态，以及 deployment info 可用时的部署状态。您可以在详情页将 model 发布到 Hugging Face、下载其 artifacts、重命名或删除它。重命名或删除 active LoRA model 前，请先 undeploy。删除的 models 及其 artifacts 会保留 30 天，之后永久删除。并排列出 base models 和 LoRA models：

osmosis model list

当 deployment info 可用时，LoRA 部分还会显示 workspace 的部署配额汇总（例如 2 of 5 inference deployments used）。

部署 LoRA Model

训练任务完成后，先列出其 LoRA models 以选择要部署的一个：

osmosis model list --type lora

按名称部署 LoRA model：

osmosis model deploy <lora-model-name>

对 inactive 的 LoRA model 执行 deploy 会重新激活它。对 already-active 的 LoRA model 再次执行 deploy 是 no-op。

调用 Inference Endpoint

已部署的 LoRA models 通过 OpenAI-compatible chat completions endpoint 提供服务：

https://inference.osmosis.ai/v1/chat/completions

使用您的 Osmosis API key，以及 model detail 页面或 osmosis model info 提供的 canonical model 值。该 model 值格式为 <base_model_path>:<lora-model-name>。

curl -X POST https://inference.osmosis.ai/v1/chat/completions \
  -H "Authorization: Bearer $OSMOSIS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen3-4B:my-run-step-100",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

如果您的账号不可用 inference deployment，deployment status、deployment quota 和 endpoint snippets 可能会被隐藏。

已部署的 model 一段时间没有被调用后就不再处于已加载状态，因此下一个 request 需要等待 model 启动。如果 model 的文件缓存在附近（warm start），启动大约需要 20 秒。如果 Osmosis 需要从存储中拉取文件（cold start），启动大约需要 2 到 3 分钟。Model detail 页面的 Inference 部分显示 Readiness, last 7 days 状态条，每小时一格。每一格标记该 model 在这一小时内停留时间最长的状态。Ready 表示 request 可以立即开始。Warm start 或 Cold start 表示该 model 当时没有加载，那时发出的 request 需要等待相应的启动。No data 表示这一小时内未被测量的时间多于任何一种状态的时间。将鼠标悬停在某一格上，可以查看每种状态的分钟数。

为 Requests 添加 Tag

添加 X-Osmosis-Tags header，即可按自定义标签（例如 job 或 experiment ID）对用量分组。在 Usage 页面打开 By Tag 并选择 tag key，即可查看每个值的 requests 和 tokens。

curl -X POST https://inference.osmosis.ai/v1/chat/completions \
  -H "Authorization: Bearer $OSMOSIS_API_KEY" \
  -H "Content-Type: application/json" \
  -H "X-Osmosis-Tags: job=f26225ad-9110,experiment=ta-v5" \
  -d '{"model": "Qwen/Qwen3-4B:my-run-step-100", "messages": [{"role": "user", "content": "Hello!"}]}'

使用 OpenAI Python SDK 时，在 client 上设置一次 header：OpenAI(base_url="https://inference.osmosis.ai/v1", api_key=..., default_headers={"X-Osmosis-Tags": "job=f26225ad-9110"})。

每个 request 最多 16 个 key=value，用逗号分隔。
Key 使用小写字母、数字、_、. 和 -，以字母开头，最长 64 个字符。以 osmosis 开头的 key 为保留字段。
Value 使用字母、数字、_、.、:、/ 和 -，最长 256 个字符，且不能为空。每个 key 只能出现一次。
每个 workspace 每小时最多记录 2,000 个不同的 tag key 和 tag pair，超出部分计入 __overflow__（该值为保留值）。
无效的 header 不会导致 request 失败：该 request 的 tags 会被忽略，response 中带有 X-Osmosis-Tags-Rejected 说明原因。

请勿在 tags 中放入 secrets 或个人信息。

取消部署

将 LoRA model 的部署切换为 inactive：

osmosis model undeploy <lora-model-name>

该 LoRA model 仍会保留在训练任务历史中；undeploy 只会将 serving deployment 转为 inactive。undeploy 是幂等的 —— 对已处于 inactive 的 model 调用它是 no-op。如果 active evaluation run 或 benchmark run 正在使用该 model，Osmosis 会阻止 undeploy，直至该 run 结束。

要求

在 workspace directory 中运行 model 命令，以便 CLI 可以从 Git origin 解析连接的 workspace。
LoRA model 必须属于同一个 workspace 中的训练任务。
您的账号必须可用 inference deployment。部署 models 还需要 workspace billing 处于良好状态 —— self-serve workspaces 需绑定有效的 payment method。
GitHub 设置必须健康，训练才能产出新的 LoRA models。

开始使用

运行

资源

工作区

模型

Base Models

默认 Base Models

列出 Base Models

查看 Base Model

LoRA Models

查看 LoRA Models

部署 LoRA Model

调用 Inference Endpoint

为 Requests 添加 Tag

取消部署

要求

下一步

训练任务

命令参考

​Base Models

​默认 Base Models

​列出 Base Models

​查看 Base Model

​LoRA Models

​查看 LoRA Models

​部署 LoRA Model

​调用 Inference Endpoint

​为 Requests 添加 Tag

​取消部署

​要求

​下一步

训练任务

命令参考

Base Models

默认 Base Models

列出 Base Models

查看 Base Model

LoRA Models

查看 LoRA Models

部署 LoRA Model

调用 Inference Endpoint

为 Requests 添加 Tag

取消部署

要求

下一步