跳转至

系统架构(System Architecture)

DeepExtension 是一个模块化、可扩展、企业级的平台,支持 AI 模型开发从数据准备到模型部署的全生命周期管理—。本章节将提供其架构的高层次概览。


总览(Overview)

从整体上看,DeepExtension 包含以下关键架构层:


1. 用户界面层(User Interfaces)

  • 基于 Web 的用户界面(自部署):大多数用户使用的主要交互界面
  • RESTful API:支持程序化访问、CI/CD 集成或自动化操作

2. 应用层(Application Layer)

负责核心业务逻辑和用户体验,包括:

  • 用户与项目管理
  • 任务调度(训练、评估、微调)
  • 模型生命周期管理:跟踪模型版本、性能和使用情况
  • 数据版本管理:支持增量式、标注型数据集
  • 评估工具:内置基准测试、JSON 验证器、业务规则测试器
  • 安全机制:支持 RBAC、Token 鉴权、操作审计日志

3. 核心 AI 层(Core AI Layer)

是 DeepExtension 的 AI 核心所在:

  • GRPO 引擎:集成提示词优化的定制强化学习逻辑
  • 训练任务编排器:管理 LLM 微调任务的执行与调度
  • 可定制训练逻辑:可以接入任意形式的训练代码,只需稍作调整,即可由 DeepExtension 执行、追踪和监控

4. 基础设施层(Infrastructure Layer)

用于提供计算与存储支持:

  • CUDA GPU 支持(Linux 或者 Windows (通过 WSL)):用于训练与推理的高性能部署环境
  • macOS 本地开发支持:适用于模型开发与预览
  • Docker Compose:统一管理服务组件(数据库、向量库、API、UI 等)
  • 存储后端

  • 文件存储:管理原始数据集、模型检查点及中间产物

  • 向量数据库:用于存储和查询向量嵌入(如语义搜索或 RAG)
  • 关系型数据库(如 PostgreSQL):用于存储元数据、配置与训练记录

5. 集成能力(Integrations)

DeepExtension 支持与多种平台和工具的集成:

  • 主流 LLM 服务商:如 OpenAI、Qwen、Claude、SiliconFlow 等
  • 本地模型工具:兼容如 LM StudioOllama 等本地模型运行与实验平台

6. 安全特性(Security Features)

  • 基于角色的访问控制(RBAC)
  • 项目级权限隔离
  • 操作日志记录与可追溯性
  • 支持物理隔离部署(Air-gapped Deployment)

7. 部署选项(Deployment Options)

目标环境 描述说明
CUDA(Linux 或者 Windows (通过 WSL)) 针对高性能训练进行了优化配置
macOS(开发环境) 基于 Docker 运行,适用于本地使用或学习
自托管 SaaS 可用于企业内部或对外服务的完整部署方案

总结(Summary)

DeepExtension 的系统架构兼顾了实验性研发和企业级关键场景的灵活性。通过分层设计,能够轻松集成到现有的 AI 技术栈中,同时为用户提供对模型工作流的全面控制。