01研究问题
给模型一团噪声,它能自己生成图片吗?
这篇论文要验证:一条从随机噪声慢慢走向清晰图片的路径,能否生成质量足够好的图像。例如训练数据里有许多不同的卧室照片,我们希望模型学会这些照片的共同规律,再生成一张训练集中没有的新卧室。论文研究的是这种不提供文字提示或类别标签的生成方式,称为“无条件生成”。
在 2020 年,这并不是唯一的生成路线:GAN 等模型已经能画出逼真的图片。扩散模型也早已有人提出,但作者指出,当时还没有充分展示它能生成高质量样本。这篇论文要证明这条路线可以工作,并找到更有效的训练方法。
一个容易想象的入口是把照片慢慢盖上雪花噪点:每次只加一点,最后几乎看不出原图。如果模型学会每一步怎样往回走,就可以从一团随机噪声出发,逐步得到一张新图。这个“盖噪点”的比喻只帮助理解流程;实际操作的是图片像素上的数值。
依据:原论文 §1:研究背景与目标。
02双向过程
加噪与生成,为什么是两个相反的方向?
加噪把已知图片逐步变成噪声;生成则从新抽取的噪声出发,学习一步步还原出图片。前者用来制造训练材料,后者才是生成新图时真正执行的过程。
正向:把清楚的图片逐步打乱
从一张真实图片开始,按预先设好的强度,每一步加入少量高斯噪声,也就是数值服从钟形分布的随机扰动。走到末端时,原图信号几乎消失,剩下的状态接近普通随机噪声。正向规则是固定的,不需要神经网络学习。
反向:学习怎样走回一小步
模型看到当前带噪的图片和它所处的步骤,估计下一步该怎样让图片更清楚。生成时,它从新抽取的随机噪声开始,连续执行这些反向步骤,最后得到新图片;它并不是取某张训练照片直接倒放。论文用同一个网络处理不同步骤,并把步骤信息一起交给网络。
这里的中间状态仍与原图片有相同的空间尺寸。后来的潜扩散模型把去噪搬到压缩后的潜空间;这篇 DDPM 论文是在图片空间中研究扩散与去噪。
03怎样训练
模型怎样学会从噪声中找回图片?
训练时先记下自己加了什么噪声,再让网络从带噪图片中把这份噪声预测出来。预测越接近真实加入的噪声,这次练习的误差就越小。这比直接要求网络凭空“画出好图片”有更明确的练习答案。
每次练习先取一张真实图片,再随机选一个加噪步骤。论文利用已知的加噪规则,可以直接算出该步骤的带噪图片,不必每次从第一步加到最后一步。网络收到带噪图片和步骤编号,输出它认为被加入的噪声;训练目标就是缩小预测与实际噪声的差距。
不同步骤的噪声量不同,所以模型既要处理几乎清晰的图,也要处理信号很弱的图。论文采用简化的噪声预测损失,去掉原始概率目标中对不同步骤的权重。作者的实验发现,这种取舍改善了样本质量指标,但它并不意味着模型在所有评价指标上都更好。
生成时仍需从随机噪声出发,反复调用网络,按论文的反向采样公式更新图像。论文实验使用 1000 步;训练时随机抽一步练习,不等于生成时只做一步。
04实验结果
实验说明:样本质量和概率指标能同时最好吗?
这组实验显示,简化训练目标明显改善了生成图片的分布质量,但概率指标略逊于原始目标。下表只比较论文表 1 中同一研究团队的两个无条件 CIFAR10 模型,不把不同任务或数据集的数字混在一起。
| 训练目标 | FID ↓ | IS ↑ | NLL 上界 ↓ |
|---|---|---|---|
| 原始变分目标 L | 13.51 | 7.67 | ≤ 3.70 |
| 简化噪声预测目标 | 3.17 | 9.46 | ≤ 3.75 |
FID 比较生成样本与真实样本在特征分布上的差距,越低通常越好;IS 是另一项样本质量与多样性指标,越高越好。表中简化目标的 FID 从 13.51 降到 3.17,IS 从 7.67 升到 9.46。NLL 上界则是论文报告的概率建模指标,以每维比特数衡量,越低越好;这里原始目标的 3.70 略优于简化目标的 3.75。因此“样本质量指标更好”和“概率指标更好”不能画等号。
论文还报告:简化目标的 FID 3.17,是按当时惯例相对 CIFAR10 训练集计算;相对测试集计算则为 5.24。它在论文发表时很有竞争力,但不能把 3.17 直接说成今天所有图像生成任务的最佳分数。表 2 的消融实验也支持“预测噪声 + 简化目标”这组设计对样本质量有帮助。
05逐步成形
一张图片是怎样逐步成形的?
论文展示的中间结果通常先出现大轮廓,随后才补出细节。这让“逐步生成”不只是流程图上的箭头:模型每做一些反向步骤,就能对最终图片作一次估计,看到画面如何变化。
例如论文的渐进生成图中,早期估计只显出整体形状,后期才逐渐有清楚的纹理。作者还从压缩角度分析这一点:从粗到细的信息可以逐步恢复,而用于无损还原的很多信息对应人眼不易察觉的变化。这是论文对自身模型的分析,不代表每一步都能被解释成一个稳定的语义编辑动作。
06适用边界
这种生成方法还有什么边界?
这篇论文证明了高质量无条件生成的潜力,也留下了速度、控制方式和评价指标上的限制。它为后续研究提供了基础,但本身不是一个“输入文字就出图”的完整产品。
- 生成需要多次计算。论文的实验采用 1000 个反向步骤,出一张图要反复运行网络。训练时只抽一个步骤来算损失,并不会自动缩短采样链。
- 本页展示的是无条件生成。论文的主要图像质量结果没有使用文字提示;不能把后来模型的文字控制能力归到这篇实验上。
- 一个分数不能说明所有质量。FID 反映样本总体分布,NLL 上界反映另一种建模目标;两者在论文的两个训练设置中出现了取舍。
- 生成模型也会带来社会风险。作者讨论了伪造图像和训练数据偏见;样本质量提高不会自动消除这些问题。
产品启发:若把扩散模型用于真实创作工具,应同时测试成图质量、单张耗时、可控性和误用风险。这是从论文结果提出的评估建议,不是论文已完成的产品验证。