Base Models
Base models 从 Hugging Face 导入,并作为在 Osmosis 上训练的起点。默认 Base Models
新 workspace 默认包含以下 base models:您 workspace 中的 Models 页面是该 workspace 可用 base models 的权威来源。
列出 Base Models
LoRA Models
LoRA models 是 training runs 产生的已训练 checkpoints。Models 页面会将它们与 base models 分开列出,并显示 training run、checkpoint step、training reward、creation date,以及您的账号可用 inference deployment 时的 deployment status。查看 LoRA Models
列出 LoRA models:2 of 5 inference deployments used)。
部署 LoRA Model
训练任务完成后,先列出其 LoRA models 以选择要部署的一个:deploy 会重新激活它。对 already-active 的 LoRA model 再次执行 deploy 是 no-op。
调用 Inference Endpoint
已部署的 LoRA models 通过 OpenAI-compatible chat completions endpoint 提供服务:osmosis model info 提供的 canonical model 值。该 model 值格式为 <base_model_path>:<lora-model-name>。
如果您的账号不可用 inference deployment,deployment status、deployment quota 和 endpoint snippets 可能会被隐藏。
取消部署
将 LoRA model 的部署切换为 inactive:undeploy 只会将 serving deployment 转为 inactive。undeploy 是幂等的 —— 对已处于 inactive 的 model 调用它是 no-op。
如果 active evaluation run 或 benchmark run 正在使用该 model,Osmosis 会阻止 undeploy,直至该 run 结束。
要求
- 在 workspace directory 中运行 model 命令,以便 CLI 可以从 Git
origin解析连接的 workspace。 - LoRA model 必须属于同一个 workspace 中的训练任务。
- 您的账号必须可用 inference deployment。部署 models 还需要 workspace billing 处于良好状态 —— self-serve workspaces 需绑定有效的 payment method。
- GitHub 设置必须健康,训练才能产出新的 LoRA models。
下一步
训练任务
提交训练任务并查看其 LoRA models。
命令参考
查看 model 和 deployment 命令及选项。