上线模型¶
上线模型是已经通过本地 LLM 部署工具（目前支持 Ollama）成功合并并量化的模型。一旦部署，这些模型的行为与基础模型完全一致，能够处理实时推理请求，或集成到下游应用中。
总览¶
上线模型页面展示了所有成功部署的模型及其相关元数据。
每个模型条目包含：
- 自动生成的名称：遵循以下命名规则：
[live_model_name] = [complete_model_name]_d_[first4ofDeployingUUID]_[quant_type]
- 部署状态
- 关联部署工具（例如 Ollama、LMStudio）
- 模型卡信息：展示继承自完整模型和部署过程的配置信息
上线模型由外部工具本地服务。如果需要在 DeepExtend 或模型评估等模块中使用，需单独注册。
注册为第三方模型¶
如果要在 DeepExtension 模块中使用上线模型，首先需要将其注册为第三方模型：
- 点击部署模型条目中的 “注册”
- 模型将被添加到 第三方模型 列表中
需要与兼容的 LLM 部署工具（例如 Ollama 或 LMStudio）集成
删除上线模型¶
若要从 LLM 运行环境中取消部署并移除模型：
- 点击部署模型条目中的 “删除”
- 该操作将通知部署工具将模型从运行服务中移除
若模型已注册到 第三方模型，该操作不会影响其注册条目
删除操作需要与外部部署系统的有效连接
DeepExtension — 让你的微调模型实现部署与注册的无缝衔接