本地化部署AI

本地化部署AI

基本要求演算

估算大型语言模型（LLM）在推理和微调时的显存占用需要考虑模型参数、中间激活值、优化器状态等多个因素。以下是详细的估算方法：

一、推理阶段的显存占用

推理时显存主要由以下部分组成：

  1. 模型参数
    • 参数内存（FP16/FP32）：
      • 每个参数默认占2字节（FP16）或4字节（FP32）。
      • 总参数内存 = 参数量 × 每参数字节数
        例如：7B模型（FP16）≈ 7×10⁹ × 2字节 = 14 GB
    • 若使用量化（如INT8）：
      • 参数量 × 1字节（但可能影响精度）。
  2. 推理时的中间激活值
    • 激活内存与输入序列长度（(L)）、隐藏层维度（(d)）、注意力头数（(h)）相关：
      • 每层激活 ≈ (4Ld^2 + 8L^2h)（参考论文）。
      • 总激活内存 ≈ 层数 × 每层激活 × 2字节（FP16）。
        例如：7B模型（L=1024）可能占用 1-3 GB 激活内存。
  3. KV缓存（自回归生成时）
    • 每token需缓存Key/Value矩阵：
      • KV缓存 ≈ (2 × L × d × \text{层数} × 2\text{字节})（FP16）。
        例如：7B模型（d=4096, 32层, L=1024）≈ 2×1024×4096×32×2 ≈ 0.5 GB/1000 tokens。

推理总显存 ≈ 参数内存 + 激活内存 + KV缓存

二、微调阶段的显存占用

微调时需额外存储优化器状态和梯度，显存占用显著增加：

  1. 模型参数与梯度
  • 参数和梯度各占一份内存（默认FP16）：
    • 参数量 × 2字节（参数） + 参数量 × 2字节（梯度）。
  1. 优化器状态
    • Adam优化器：存储动量（momentum）和方差（variance），每参数占8字节（FP32）：
      • 优化器状态 ≈ 参数量 × 8字节。
    • 其他优化器（如SGD）：可能仅需4字节/参数。
  2. 激活内存（反向传播时）
    • 微调的激活内存通常比推理大，需保存中间结果用于梯度计算：
      • 激活内存 ≈ ( \text{推理激活} × 3 \sim 5 )（依赖实现）。
  3. 其他开销
    • 数据批次（batch size）、临时缓冲区等可能占用额外显存。

微调总显存 ≈ 参数 + 梯度 + 优化器状态 + 激活内存 + 其他

三、简化估算公式

  • 推理显存（FP16）：
    ( \text{参数量} × 2\text{字节} + \text{KV缓存} + \text{激活} )
    示例：7B模型 ≈ 14 GB + 0.5 GB + 2 GB ≈ 16.5 GB（L=1024）

  • 全参数微调显存（Adam+FP16）：
    ( \text{参数量} × 16\text{字节} + \text{激活内存} )
    示例：7B模型 ≈ 7B × 16字节 = 112 GB（需结合激活内存）

四、降低显存占用的方法

  1. 量化：
    • 将模型权重转为INT8/NF4（如Bitsandbytes库），可减少50-75%参数内存。
  2. 梯度检查点：
    • 用时间换空间，减少激活内存（如HuggingFace的gradient_checkpointing）。
  3. 优化器选择：
    • 使用内存高效的优化器（如Adafactor）。
  4. 混合精度训练：
    • FP16/BP16混合训练（需支持AMP）。
  5. 参数高效微调（PEFT）：
    • LoRA/Adapter等方法仅微调部分参数。

五、工具推荐

  • 估算工具：
  • 实践建议：
    实际显存可能因框架实现（如PyTorch/TensorFlow）、CUDA版本等差异浮动10-20%，建议预留缓冲。

通过上述方法，可以合理预估LLM的显存需求并优化资源配置。

可用推理框架

intel:OpenVINO

因为我的个人电脑是Arc770的显卡，曾经一度想通过Intel的官方推理组件库，完成Stable Diffusion和Chatglm3的适配。

不过有以下问题需要解决：

  1. 独立的模型存储格式，若需要将pytorch训练后的权重格式文件load进入OpenVINO，需要通过OpenVINO套件的工具进行，且转换过程略复杂，需要补全较多的原模型的信息，缺乏映射关系表
  2. 原设计预期中，该套件主要是面向Intel的协处理器，但是因为Nvidia使用显卡之后，也在逐步的往消费级显卡及Intel的NPU进行迁移，中间会存在算子无法对齐，部分模型无法运行
  3. 参与玩家不多，社区主要是英文，且面向Ubuntu特定版本才可用

Nvidia：CUDA+Pytorch

主要面向模型的全生命周期的管理，拥有最多的开发人员和社区使用人员，生态成熟度最高

其最大的问题是：贵

vLLM

  1. 是推理引擎
  2. 逐步转变成模型推理的部署平台
  3. 可以使用消费级硬件完成推理（CUDA最开始只能给A6000等专业显卡提供软件的使用）

Ollama

个人家用电脑部署使用管理模型的一个工具

部署步骤

  1. 估算服务对象及并发数
  2. 估算模型的硬件资源占用
  3. 选定部署框架
  4. 基于选定的部署框架，重新估算硬件资源是否仍然满足
  5. 基于框架自行实现管理工具的开发

总结

本地化部署AI总结

一、AI本地化部署的核心考量

本地化部署AI大型语言模型(LLM)需要综合考虑计算资源、框架选择和实际应用场景三大要素。核心挑战在于平衡模型性能与硬件资源限制，特别是显存的高效利用。

二、显存需求分析与优化

1. 显存占用关键因素

  • 推理阶段：模型参数(FP16约2字节/参数)、中间激活值(1-3GB)、KV缓存(约0.5GB/1000 tokens)
  • 微调阶段：额外需要梯度存储(2字节/参数)和优化器状态(Adam约8字节/参数)，显存需求剧增

2. 显存优化策略

  • 量化技术：INT8/NF4量化可减少50-75%参数内存
  • 训练优化：梯度检查点、混合精度训练、参数高效微调(PEFT)如LoRA
  • 资源估算工具：Transformer Math 101、PyTorch内存监控工具

三、主流推理框架比较

框架 优势 挑战 适用场景
OpenVINO Intel硬件优化 模型转换复杂、生态局限 Intel协处理器环境
CUDA+PyTorch 生态成熟、全生命周期支持 硬件成本高 专业开发环境
vLLM 消费级硬件支持、高效推理 功能演进中 生产环境部署
Ollama 用户友好、简化管理 功能相对基础 个人/小规模使用

四、部署实施流程

  1. 需求分析：明确服务对象规模与并发需求
  2. 资源评估：基于模型规模计算显存/内存需求
  3. 框架选型：根据硬件条件和功能需求选择合适框架
  4. 二次验证：在选定框架下重新评估资源需求
  5. 工具开发：构建配套的管理和监控工具

五、实践建议

  1. 对于消费级硬件，优先考虑vLLM或Ollama等轻量级方案
  2. 微调场景建议采用参数高效方法(LoRA)减少显存压力
  3. 生产部署应预留20%以上的资源缓冲
  4. 持续关注框架更新，特别是对新型硬件的支持改进

本地化AI部署需要根据具体场景在性能、成本和易用性之间找到最佳平衡点，随着技术的快速发展，消费级硬件的部署能力正在显著提升。