基础模型(Base Models)¶
基础模型 指的是预训练的基础语言模型,需要手动加载到 DeepExtension 环境中,是微调和推理的基础。
注意:在 DeepExtension 中开始训练或微调之前,必须先添加基础模型。我们将此操作归类为 开发者任务,因为它需要访问后端文件系统,通常只有 管理员用户 才拥有相关权限。
参见 如何添加基础模型 获取逐步操作指南。
概览¶
在 基础模型 页面中,可以看到所有已加载模型的列表。每个基础模型的条目包括:
- 技术名称(Technical Name):内部使用的短且唯一的标识符。它对于命名训练模型非常关键(命名规则参见 定制模型)。
- 模型名称(Model Name):模型的完整官方名称(例如 "Qwen-1.5-7B","LLaMA2-13B")。
- 路径(Path):模型本地存储的相对路径。
- 模型卡信息(Model Card Info):注册过程中自动从模型文件夹中的
*.json文件中提取的技术细节。
技术名称 和 模型名称 在整个系统中必须是唯一的。
添加基础模型¶
添加新基础模型的步骤如下:
- 在基础模型页面点击 “添加新模型”。
-
填写以下信息:
- 技术名称(Model Alias)(必须唯一且简洁)
- 模型名称(Base Model Name)(完整的描述性名称)
- 路径(Model Path)(模型文件夹的相对路径)
- 部署环境(Deployment Environment)(部署该模型使用的环境)
- 模型类型(Model Type)(模型所支持的功能类型)
保存后,DeepExtension 将尝试从模型目录中加载元数据和配置,生成一个可被训练与推理流程复用的 模型卡(model card)。
需要确保模型文件已完整且正确地放置在指定路径中。
关于部署模板的说明¶
- 模型部署模板 仅在使用 Ollama 部署模型时才是必需的。如果不计划使用 Ollama,可以留空。
- 可以稍后在基础模型页面点击 “更新部署模板文件” 来填写此字段。
- 有关 Modelfile 是什么、模型部署模板 的作用以及如何准备,请参见开发者文档:如何添加基础模型
基础模型行为说明¶
- 在注册之前,基础模型必须 手动下载并保存在本地。
- 当前暂不支持在线拉取模型(例如 HuggingFace 等)。
- 后续版本中计划支持远程集成并自动获取模型,已列入开发路线图。
DeepExtension —— 为你的 AI 流程提供可靠的本地基础模型支持