模型管理

概述

模型类型

模型分类图

graph TD
    A[ComfyUI模型] --> B[主模型]
    A --> C[LoRA模型]
    A --> D[ControlNet模型]
    A --> E[VAE模型]
    A --> F[文本嵌入]
    A --> G[其他模型]

    B --> B1[Stable Diffusion 1.5]
    B --> B2[Stable Diffusion 2.1]
    B --> B3[Stable Diffusion XL]

    C --> C1[风格LoRA]
    C --> C2[人物LoRA]
    C --> C3[概念LoRA]

    D --> D1[Canny]
    D --> D2[Depth]
    D --> D3[OpenPose]

    E --> E1[标准VAE]
    E --> E2[优化VAE]

    F --> F1[正向嵌入]
    F --> F2[负向嵌入]

    G --> G1[IP-Adapter]
    G --> G2[T2I-Adapter]

    style A fill:#e1f5ff
    style B fill:#fff4e1
    style C fill:#ffe1f5
    style D fill:#e1ffe1
    style E fill:#ffe1e1
    style F fill:#e1ffe1
    style G fill:#fff4e1

主模型管理

1. 模型版本

• 文件大小: 约4GB
• 分辨率: 512x512
• 特点: 成熟稳定，插件丰富
• 适用场景: 通用图像生成

• 文件大小: 约5GB
• 分辨率: 768x768
• 特点: 更高分辨率，改进架构
• 适用场景: 高质量图像生成

• 文件大小: 约6-7GB
• 分辨率: 1024x1024
• 特点: 最高质量，最新架构
• 适用场景: 专业级图像生成

2. 模型下载

graph LR
    A[Hugging Face] -->|官方| B[Civitai]
    B -->|社区| C[其他平台]

    style A fill:#e1ffe1
    style B fill:#fff4e1
    style C fill:#fff4e1

主要平台: - Hugging Face: https://huggingface.co/ - Civitai: https://civitai.com/ - 其他: 各种模型分享网站

# 方法1: 直接下载
# 访问网站，点击下载按钮

# 方法2: 使用git
git lfs install
git clone https://huggingface.co/model-name

# 方法3: 使用下载工具
# 使用IDM、迅星等下载工具

3. 模型安装

models/
├── checkpoints/          # 主模型
│   ├── v1-5-pruned-emaonly.ckpt
│   └── sdxl_base_1.0.safetensors
├── vae/                 # VAE模型
│   ├── vae-ft-mse-840000.ckpt
│   └── sdxl_vae.safetensors
└── ...

graph LR
    A[下载模型] --> B[验证文件]
    B --> C[移动到目录]
    C --> D[验证加载]

    style A fill:#e1ffe1
    style B fill:#fff4e1
    style C fill:#fff4e1
    style D fill:#e1ffe1

LoRA模型管理

1. LoRA类型

• 用途: 添加艺术风格
• 示例: 动漫风格、油画风格、水彩风格
• 强度: 通常0.5-1.0

• 用途: 优化人物生成
• 示例: 特定人物、人物特征
• 强度: 通常0.3-0.8

• 用途: 添加特定概念
• 示例: 特定物体、场景、效果
• 强度: 通常0.5-1.0

2. LoRA管理

models/loras/
├── detail_tweaker.safetensors
├── add_more_details.safetensors
└── anime_style.safetensors

graph TD
    A[LoRA模型] --> B[按类型分类]
    A --> C[按风格分类]
    A --> D[按用途分类]

    B --> B1[风格LoRA]
    B --> B2[人物LoRA]
    B --> B3[概念LoRA]

    C --> C1[动漫]
    C --> C2[写实]
    C --> C3[艺术]

    D --> D1[细节增强]
    D --> D2[风格转换]
    D --> D3[特殊效果]

    style A fill:#e1f5ff
    style B fill:#fff4e1
    style C fill:#ffe1f5
    style D fill:#e1ffe1

ControlNet模型管理

1. ControlNet类型

• 模型: control_v11p_sd15_canny
• 控制: 边缘和轮廓
• 预处理: Canny边缘检测

• 模型: control_v11p_sd15_depth
• 控制: 深度信息
• 预处理: 深度估计

• 模型: control_v11p_sd15_openpose
• 控制: 人物姿态
• 预处理: OpenPose检测

• 模型: control_v11p_sd15_seg
• 控制: 语义分割
• 预处理: 语义分割

2. ControlNet管理

models/controlnet/
├── control_v11p_sd15_canny.safetensors
├── control_v11p_sd15_depth.safetensors
├── control_v11p_sd15_openpose.safetensors
└── control_v11p_sd15_seg.safetensors

VAE模型管理

1. VAE类型

• 用途: 标准图像编码解码
• 特点: 通用性好
• 推荐: vae-ft-mse-840000

• 用途: 优化图像质量
• 特点: 更好细节
• 推荐: sdxl_vae, any_vae

2. VAE管理

models/vae/
├── vae-ft-mse-840000.ckpt
├── sdxl_vae.safetensors
└── any_vae.safetensors

文本嵌入管理

1. 嵌入类型

• 用途: 增强正面效果
• 示例: quality, detail
• 使用: 添加到正向提示词

• 用途: 避免负面效果
• 示例: bad-hands, bad-anatomy
• 使用: 添加到负向提示词

2. 嵌入管理

models/embeddings/
├── positive/
│   ├── quality.pt
│   └── detail.pt
└── negative/
    ├── bad-hands.pt
    └── bad-anatomy.pt

模型转换

1. 格式转换

# 使用转换工具
python convert_original_stable_diffusion_to_diffuser.py \
  --checkpoint_path model.ckpt \
  --dump_path model.safetensors

graph LR
    A[原始模型] --> B[选择转换工具]
    B --> C[执行转换]
    C --> D[验证模型]
    D --> E[使用新模型]

    style A fill:#e1ffe1
    style B fill:#fff4e1
    style C fill:#fff4e1
    style D fill:#e1ffe1
    style E fill:#e1ffe1

2. 版本转换

• 需要专业工具
• 质量可能下降
• 不推荐转换

• 需要专业工具
• 质量可能下降
• 不推荐转换

模型优化

1. 模型量化

# 使用FP16精度
import torch

model = torch.load("model.ckpt")
model = model.half()
torch.save(model, "model_fp16.ckpt")

• 减少显存使用
• 提高推理速度
• 轻微质量损失

2. 模型剪枝

• 移除不重要的权重
• 减少模型大小
• 需要专业工具

模型维护

1. 模型备份

graph TD
    A[模型备份] --> B[本地备份]
    A --> C[云备份]
    A --> D[版本控制]

    B --> B1[外部硬盘]
    B --> B2[本地服务器]

    C --> C1[云存储]
    C --> C2[版本仓库]

    D --> D1[Git LFS]
    D --> D2[DVC]

    style A fill:#e1f5ff
    style B fill:#fff4e1
    style C fill:#ffe1f5
    style D fill:#e1ffe1

2. 模型更新

graph LR
    A[检查更新] --> B[下载新版本]
    B --> C[备份旧版本]
    C --> D[测试新版本]
    D --> E[替换模型]

    style A fill:#e1ffe1
    style B fill:#fff4e1
    style C fill:#fff4e1
    style D fill:#fff4e1
    style E fill:#e1ffe1

3. 模型清理

• 删除不使用的模型
• 合并相似模型
• 整理模型目录

模型使用最佳实践

1. 模型选择

graph TD
    A[确定需求] --> B{图像类型}
    B -->|通用| C[SD1.5]
    B -->|高质量| D[SD2.1]
    B -->|专业| E[SDXL]
    C --> F[选择模型]
    D --> F
    E --> F

    style A fill:#e1ffe1
    style B fill:#ffe1f5
    style C fill:#fff4e1
    style D fill:#fff4e1
    style E fill:#fff4e1
    style F fill:#e1ffe1

2. 模型组合

• 主模型 + LoRA
• 主模型 + ControlNet
• 主模型 + LoRA + ControlNet

3. 模型测试

• 使用标准提示词
• 使用不同参数
• 比较生成结果

常见问题

Q1: 模型放在哪个目录？

A: 主模型放在models/checkpoints/，LoRA放在models/loras/，ControlNet放在models/controlnet/。

Q2: 如何选择合适的模型？

A: 根据需求选择，通用用SD1.5，高质量用SD2.1，专业用SDXL。

Q3: LoRA强度设置多少？

A: 从0.8开始，根据效果调整，通常0.5-1.0之间。

Q4: 模型文件太大怎么办？

A: 使用FP16量化，或使用小模型。

Q5: 如何备份模型？

A: 复制到外部硬盘或云存储，使用Git LFS管理版本。

最佳实践

实践1: 定期备份

定期备份重要模型，防止丢失。

实践2: 版本管理

使用版本控制管理模型版本。

实践3: 文档记录

记录模型信息、用途、效果。

实践4: 测试验证

使用前测试模型效果。

实践5: 清理维护

定期清理不使用的模型。

扩展阅读

• 提示词工程
• 参数调优
• 性能优化

更新日志

• 2026-01-26: 初始版本创建