添加基础模型¶
在 DeepExtension 中启动训练或进行微调之前,必须先添加一个基础模型。由于该操作涉及访问后端文件系统,因此我们将其归类为 开发者任务 —— 通常只有 管理员用户 才具备所需权限。
本指南将逐步介绍如何注册模型,例如 Qwen2.5-7B-Instruct,并将其纳入 DeepExtension 的训练流程中。
步骤一:下载模型文件¶
以 Hugging Face 上的模型为例,您可以使用搜索引擎搜索:
huggingface qwen2 5 7b instruct
通常会找到 Qwen/Qwen2.5-7B-Instruct 的官方页面。在 “Files and versions” 标签页中(请确保选择的版本为 main),下载以下文件:
config.json- 一个或多个
*.safetensors模型权重文件 tokenizer.json,tokenizer_config.json等分词器文件
新建一个本地目录,命名为:
Qwen2.5-7B-Instruct
并将上述所有文件保存至该目录中。
步骤二:移动至 DeepExtension 的模型目录¶
假设 {deepextension_base_dir} 是 DeepExtension 的安装根目录。其下应包含一个名为 models 的子目录。
将刚才创建的模型目录移动至:
{deepextension_base_dir}/models/Qwen2.5-7B-Instruct
该目录路径将在注册时作为 模型路径 使用。
步骤三(可选):获取部署模板(用于 Ollama)¶
如果您打算通过 Ollama 部署该模型,还需要准备一个 模型部署模板。
- 在线搜索:
ollama modelfile qwen2 5 7b instruct - 找到官方的 Ollama 模型页面(如
qwen2.5:7b-instruct) - 点击 template 链接
- 复制模板内容,供后续粘贴使用
如果您暂不计划使用 Ollama 部署,可跳过此步骤。
步骤四:在 DeepExtension 中注册基础模型¶
进入 DeepExtension Web UI 的 基础模型(Base Models) 页面,点击 “新增模型”。
填写以下字段:
| 字段名称 | 示例值 | 说明 |
|---|---|---|
| 技术名称 | qw2.5-7-i |
简短且唯一的标识符 |
| 模型名称 | Qwen2.5-7B-Instruct |
完整描述性名称 |
| 模型路径 | models/Qwen2.5-7B-Instruct |
必须与步骤二中的目录路径一致 |
| 部署模板 | (粘贴步骤三中的内容) | 仅在 Ollama 部署时需要填写 |
您也可以暂时留空 部署模板 字段,稍后通过 “更新部署模板文件” 操作补充。
步骤五:确认模型注册成功¶
返回 基础模型 页面并刷新,您应能看到新添加的模型已列出。
您还将看到:
- 磁盘占用信息(Qwen2.5-7B-Instruct 约为 14GB)
- 模型元信息及自动生成的 模型卡
完成!该基础模型现在已可用于微调、评估和部署。
有关部署模板与 Ollama 设置的更多说明,请参阅: