2022年底Stable Diffusion的开源发布，彻底改变了AI图像生成的格局。在此之前，DALL·E 2和Midjourney虽然惊艳，但都是封闭服务；Stable Diffusion让每个人都能在自己的电脑上运行文本生成图像，从此AI绘画从「尝鲜」走向「普及」。今天我们从技术原理到工程实践，深度解析以扩散模型为核心的AI图像生成技术。

扩散模型的物理直觉：先毁掉一张图，再学会复原

要理解扩散模型，最简单的方式是逆向思考。想象一下：你有一张清晰的猫的照片，然后逐步向这张照片添加噪声，直到完全变成一坨随机的雪花点。这个过程就叫「正向扩散过程」。

扩散模型的核心思路是：如果我们能学会「反向过程」——从纯噪声逐步去噪还原出原始图像，那我们就拥有了一台「从无序到有序」的生成引擎。

数学上，这个过程由马尔可夫链建模。正向过程 q(xt|xt-1) 逐步添加高斯噪声，反向过程 pθ(xt-1|xt) 由神经网络（通常是UNet架构）学习去噪。训练目标是最大化变分下界，让模型学会在每个时间步预测出添加的噪声，然后减去它。

实际实现中，模型并不直接预测图像，而是预测每个时间步添加的噪声 εθ(xt, t)，然后用公式从含噪图像中减去预测的噪声，得到更清晰的图像。这个过程迭代进行——通常50~100步——从纯高斯噪声一步步得到最终的生成图像。

Stable Diffusion的架构创新：在潜空间里做文章

Stable Diffusion相比早期扩散模型（如DDPM）的最大创新在于「潜扩散」。原始扩散模型直接在像素空间中操作，对于一幅512×512的图像，需要处理256K维度的数据，计算量巨大，训练慢、推理更慢。

Stable Diffusion引入了一个编码器-解码器架构：先用一个预训练的自编码器（VQ-VAE或KL-VAE）将图像压缩到潜空间——尺寸缩小到原来的1/8（比如512×512压缩为64×64），然后在潜空间里执行扩散和去噪过程。这样做的好处是计算量直接降低了两个数量级。

最后再通过解码器将潜空间的特征还原为像素级图像。这个架构使Stable Diffusion能够在消费级GPU上运行，这是它能大规模普及的根本原因。

另一个关键组件是文本条件的引入方式。Stable Diffusion使用CLIP文本编码器将用户输入的提示词（prompt）转换为文本嵌入向量，然后通过交叉注意力机制注入到UNet的去噪过程中。交叉注意力层让模型在去噪的每个步骤中都能够「关注」文本描述中的对应语义，从而实现文本到图像的精确对齐。

图像生成的工程控制：CFG、采样器和负向提示词

理解基本原理之后，实际使用中还有几个关键参数直接影响生成质量：

无分类器引导是控制生成结果与文本提示一致程度的关键参数。CFG Scale的取值范围通常是120，其中712是常用区间。CFG值越高，图像与提示词的对齐越强，但代价是多样性和图像自然度下降，可能出现过度饱和或不自然的伪影。反之，CFG值越低，生成结果越多样化，但可能与提示词的语义偏离。

实际工程中，通常的做法是：对于写实风格的生成，使用CFG 79；对于需要精确遵守提示词的艺术创作，使用CFG 1014。但CFG超过15通常会产生明显的质量问题。

采样器选择是另一个被低估的重要因素。目前主流的采样器包括DDIM、Euler、Heun、DPM++系列、LCM/LCM-LoRA等。不同采样器在生成速度、收敛步数和图像质量上各有优劣。

DPM++ 2M Karras是目前Stable Diffusion XL推荐的首选采样器，在质量和收敛速度之间取得了很好的平衡。如果追求生成速度，LCM采样器可以将推理步数从传统的2050步降低到48步，代价是细节和多样性略有下降。

负向提示词可能是最容易被忽视但最能提升生成质量的技巧。通过指定不希望出现的内容（如质量低劣、扭曲的手、多余的肢体、曝光过度等），模型在去噪过程中会避开这些特征。好的负向提示词往往比正向提示词写得长，这在工程实践中已经成为一个共识。

从选型到部署：Stable Diffusion的工程实践路径

对于想要在自己的业务中部署AI图像生成能力的团队，技术选型是一个权衡过程。目前的开源生态主要分为几个梯队：

Stable Diffusion 1.5发布于2022年，生态最成熟，大量的LoRA、ControlNet和微调模型都基于这个版本。缺点是图像质量不如后续版本，分辨率上限低（通常是512×512）。

Stable Diffusion XL在2023年发布，Potato质量显著提升，原生支持1024×1024分辨率，对提示词的理解更强。缺点是模型体积大（~7GB），推理速度较慢，端侧部署困难。

Stable Diffusion 3和Flux是2024年的新方向。SD3采用了新的MMDiT架构（融合了Diffusion和Transformer），Flux则由前Stability AI团队构建，使用了更大的模型容量。两者在文字生成、手部细节和多对象关系方面有显著提升，但对硬件要求更高。

工程部署方面，对于简单的API服务，使用Hugging Face的diffusers库和部署框架是最快的路径。对于需要高性能推理的场景，需要用到多种推理优化方案：TensorRT可以将推理延迟降低2~3倍，ONNX Runtime配合INT8量化可以进一步减少模型体积和推理时间，在边缘设备上部署可以考虑使用CoreML或TFLite。

批处理是提升吞吐量的关键。V100或A100上的典型配置是batch_size=4~8，可以在不显著增加延迟的情况下将生成吞吐量提升数倍。显存管理方面，使用enable_attention_slicing()和enable_sequential_cpu_offload()可以在显存受限的环境下运行较大模型。

ControlNet和LoRA：扩展能力的两个核心工具

ControlNet让AI图像生成从「抽卡模式」变成了「可控创作」。通过条件输入（Canny边缘检测、深度图、姿态骨骼、语义分割图等），用户可以精确控制生成图像的结构和布局，而把材质、色彩和光照交给模型发挥。

在审核和工业场景中，ControlNet是非常实用的工具。例如，在文物修复模拟中，用Canny边缘图控制整体形状，模型自动补全缺失的纹理和色彩；在产品设计中，用深度图控制三维结构，模型探索不同的材质方案。

LoRA则是轻量化的模型定制方案。通过在预训练模型上插入低秩适配矩阵，只需要几百MB的训练数据就可以让模型学会新的概念、角色或风格。一个典型的LoRA微调流程只需要5~20张特定风格的图片，在消费级显卡上训练不到半小时。

在工业部署中，LoRA的实用性在于可以为不同场景准备不同的LoRA权重，运行时动态加载或切换，而不需要维护多个完整的基础模型副本。

未来的技术方向

AI图像生成技术仍在快速演进。视频生成（Sora、CogVideoX、AnimateDiff）正在从研究走向产品化；3D生成（3D Gaussian Splatting、NeRF结合扩散模型）正在改变数字内容制作流程；实时生成（LCM、SDXL Turbo、Adversarial Diffusion）让交互式创作成为可能。

对这些技术的发展保持关注、适时引入到自己的技术栈中，才能在AI内容生成这个快速变化的领域保持竞争力。理解扩散模型的基础原理和工程实践，无论是对技术选型、产品设计还是性能优化，都有实实在在的价值。