核心思想与定义

扩散模型的核心思想是：学习一个去噪过程，以逆转一个固定的加噪过程。

1. 前向过程（固定）： 定义一个马尔可夫链，逐步向数据 ${\mathbf{x}}_0\sim q({\mathbf{x}}_0)$ 添加高斯噪声，产生一系列噪声逐渐增大的隐变量 ${\mathbf{x}}_1,...,{\mathbf{x}}_T$。最终 ${\mathbf{x}}_T$ 近似为一个标准高斯分布。
   $$q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)=\prod _{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1}),\text{其中}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})=\mathcal{N}({\mathbf{x}}_t;\sqrt{1-{\beta }_t}{\mathbf{x}}_{t-1},{\beta }_t\mathbf{I})$$
   这里 {βt}t=1T\{\beta_t\}_{t=1}^T{βt​}t=1T​ 是预先定义好的方差调度表。

2. 反向过程（可学习）： 我们想要学习一个参数化的反向马尔可夫链 $p_{\theta }$，从噪声 ${\mathbf{x}}_T\sim \mathcal{N}(0,\mathbf{I})$ 开始，逐步去噪以生成数据。
   $$p_{\theta }({\mathbf{x}}_{0:T})=p({\mathbf{x}}_T)\prod _{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t),\text{其中}{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)=\mathcal{N}({\mathbf{x}}_{t-1};{\mu }_{\theta }({\mathbf{x}}_t,t),{\mathbf{\Sigma }}_{\theta }({\mathbf{x}}_t,t))$$
   我们的目标是让 $p_{\theta }({\mathbf{x}}_0)$ 尽可能接近真实数据分布 $q({\mathbf{x}}_0)$。

3. 前向过程的闭式解： 得益于高斯分布的可加性，我们可以直接从 ${\mathbf{x}}_0$ 采样任意时刻 $t$ 的 ${\mathbf{x}}_t$：
   $$q({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_t;\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0,(1-{\bar{\alpha }}_t)\mathbf{I})$$
   其中 ${\alpha }_t=1-{\beta }_t$, ${\bar{\alpha }}_t={\prod }_{i=1}^t{\alpha }_i$。使用重参数化技巧，可以写为：
   $${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,\text{其中}ϵ\sim \mathcal{N}(0,\mathbf{I})$$
   这个公式至关重要，它允许我们随机采样时间步 $t$ 并高效地计算训练损失。

---

优化目标：变分下界 (VLB/ELBO)

我们的目标是最大化模型生成真实数据的对数似然 $\log p_{\theta }({\mathbf{x}}_0)$。由于其难以直接计算，我们转而最大化其变分下界（VLB），也称为证据下界（ELBO）。

$$\begin{array}{rl}\log p_{\theta }({\mathbf{x}}_0)& \ge {\mathbb{E}}_{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\left[\log \frac{p_{\theta }({\mathbf{x}}_{0:T})}{q({\mathbf{x}}_{1:T}|{\mathbf{x}}_0)}\right]\\ & ={\mathbb{E}}_q\left[\log \frac{p({\mathbf{x}}_T){\prod }_{t=1}^T{p}_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)}{{\prod }_{t=1}^{T}q({\mathbf{x}}_t|{\mathbf{x}}_{t-1})}\right]\\ & \triangleq -L_{\text{VLB}}\end{array}$$
因此，我们最小化 $L_{\text{VLB}}$。

通过对 $L_{\text{VLB}}$ 进行推导（利用马尔可夫性和贝叶斯定理），可以将其分解为以下几项：

$$L_{\text{VLB}}={\mathbb{E}}_q[\underset{L_T}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_T|{\mathbf{x}}_0)\parallel p({\mathbf{x}}_T))}}-\underset{L_0}{\underbrace{\log p_{\theta }({\mathbf{x}}_0|{\mathbf{x}}_1)}}+\sum _{t=2}^T\underset{L_{t-1}}{\underbrace{D_{\text{KL}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))}}]$$

• $L_T$: 衡量最终噪声分布与先验分布 $\mathcal{N}(0,\mathbf{I})$ 的差异。此项没有可学习参数，接近于0，可以忽略。
• $L_0$: 重建项，衡量最后一步生成图像与真实图像的差异。此项在原始DDPM中通过一个离散化decoder处理，实践中发现其影响较小。
• $L_{t-1}$ ($1\le t\le T$): 这是最关键的一项。它衡量的是对于每一个去噪步，真实的去噪分布 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$ 和 学习的去噪分布 $p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t)$ 之间的KL散度。

---

核心推导：真实的后验分布 $q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)$

根据贝叶斯定理和马尔可夫性，我们可以推导出这个真实的后验分布。它也是一个高斯分布，这意味着我们可以用另一个高斯分布 $p_{\theta }$ 去匹配它。

$$\begin{array}{rl}q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)& =\frac{q({\mathbf{x}}_t|{\mathbf{x}}_{t-1},{\mathbf{x}}_0)q({\mathbf{x}}_{t-1}|{\mathbf{x}}_0)}{q({\mathbf{x}}_t|{\mathbf{x}}_0)}\\ & \propto \mathcal{N}({\mathbf{x}}_t;\sqrt{{\alpha }_t}{\mathbf{x}}_{t-1},(1-{\alpha }_t)\mathbf{I})\cdot \mathcal{N}({\mathbf{x}}_{t-1};\sqrt{{\bar{\alpha }}_{t-1}}{\mathbf{x}}_0,(1-{\bar{\alpha }}_{t-1})\mathbf{I})\end{array}$$

经过一系列高斯分布密度函数的乘积和配方，可以得出其均值和方差为：

$$q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)=\mathcal{N}({\mathbf{x}}_{t-1};{\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0),{\tilde{\beta }}_t\mathbf{I})$$

$$\text{其中}{\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}ϵ\right),{\tilde{\beta }}_t=\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$$

注意：这里 $ϵ$ 是前向过程中添加到 ${\mathbf{x}}_0$ 上生成 ${\mathbf{x}}_t$ 的噪声。这个 ${\tilde{\mu }}_t$ 的表达式非常关键！

---

简化损失函数：从均值预测到噪声预测

现在我们来看要最小化的 $L_{t-1}$，它是两个高斯分布的KL散度。高斯分布的KL散度主要由其均值的差异主导（假设方差固定）。

$$\begin{array}{rl}{L}_{t-1}& ={\mathbb{E}}_q\left[D_{\text{KL}}(q({\mathbf{x}}_{t-1}|{\mathbf{x}}_t,{\mathbf{x}}_0)\parallel p_{\theta }({\mathbf{x}}_{t-1}|{\mathbf{x}}_t))\right]\\ & ={\mathbb{E}}_q\left[\frac{1}{2{\sigma }_t^2}\Vert {\tilde{\mu }}_t({\mathbf{x}}_t,{\mathbf{x}}_0)-{\mu }_{\theta }({\mathbf{x}}_t,t){\Vert }^2\right]+C\end{array}$$

现在我们有两个选择：

1. 让网络 ${\mu }_{\theta }$ 直接预测均值 ${\tilde{\mu }}_t$。
2. 根据 ${\tilde{\mu }}_t$ 的表达式，重新参数化模型。

DDPM选择了第二种方式，因为它效果更好。我们将 ${\tilde{\mu }}_t$ 的表达式代入：

$${\mu }_{\theta }({\mathbf{x}}_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left({\mathbf{x}}_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }({\mathbf{x}}_t,t)\right)$$

这里，我们不再让网络预测均值，而是让它预测噪声 $ϵ$，即 ${ϵ}_{\theta }({\mathbf{x}}_t,t)$。将这个表达式代入上面的损失函数，经过简化（忽略权重系数），我们得到最终极其简洁的损失函数：

$$L_{\text{simple}}={\mathbb{E}}_{{\mathbf{x}}_0,t,ϵ\sim \mathcal{N}(0,\mathbf{I})}\left[\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t){\Vert }^2\right]$$

这个损失函数的直观解释是：对于一张真实图像 ${\mathbf{x}}_0$，随机选择一个时间步 $t$，随机采样一个噪声 $ϵ$，构造出噪声图像 ${\mathbf{x}}_t$。然后，我们训练一个网络 ${ϵ}_{\theta }$，让它根据 ${\mathbf{x}}_t$ 和 $t$ 来预测出我们添加的噪声 $ϵ$。损失就是预测噪声和真实噪声之间的均方误差。

---

总结：优化流程

1. 输入：从训练集中采样一张真实图像 ${\mathbf{x}}_0$。
2. 加噪：
   • 均匀采样一个时间步 $t\sim \text{Uniform}(1,...,T)$。
   • 从标准高斯分布采样噪声 $ϵ\sim \mathcal{N}(0,\mathbf{I})$。
   • 计算 ${\mathbf{x}}_t=\sqrt{{\bar{\alpha }}_t}{\mathbf{x}}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$。
3. 预测：将 ${\mathbf{x}}_t$ 和 $t$ 输入神经网络 ${ϵ}_{\theta }$，得到其对噪声的预测 ${ϵ}_{\theta }({\mathbf{x}}_t,t)$。
4. 优化：计算损失 $L=\Vert ϵ-{ϵ}_{\theta }{\Vert }^2$，并通过梯度下降更新网络参数 $\theta$。
5. 重复：重复步骤1-4直至收敛。

这个框架的巧妙之处在于，它将一个复杂的生成问题，分解为了 $T$ 个相对简单的去噪问题。网络 ${ϵ}_{\theta }$ 不需要一步生成完美图像，只需要在每一步完成一个更简单的任务：预测噪声。这使得训练非常稳定，也是扩散模型成功的核心原因。