跳至主要內容

扩散模型

xbZhong原创2025/7/8大约 12 分钟cv

本页PDF

完全理解数学推导非常难！！！

Diffusion probabilistic Model（扩散概率模型）

工作流程

  1. 从高维正态分布采样，维度与生成图片的维度大小相同
  2. 模型对采样后的数据去除噪声，会连续经过去噪模型（次数事先定好），最后把噪声通通滤掉，得到图片
    • Denoise模型除了会接受图片作为输入，还会接受一个数字作为参数，这个数字表示当前图片受噪声影响严重的程度，客观上反映了进行到哪个step
    • Denoise模型内部的Noise Predicter对图片噪声进行预测，得到噪声图片，然后用原图片减去噪声图片得到更加清晰的图片
image-20250510233616851
image-20250510233616851

数学推导

马尔科夫分层自编码器

可以看作是VAE的一个扩展，从左到右逐步编码，从右到左逐步解码

image-20250511132150467
image-20250511132150467

q(zt∣zt−1)q(z_t|z_{t-1})表示一个步骤的编码过程，p(zt∣zt−1)p(z_t|z_{t-1})表示一个步骤的解码过程

整个模型的联合分布概率为

p(x,z1,z2,…,zT)=p(x,z1:T)=p(zT)pθ(x∣z1)∏t=2Tpθ(zt−1∣zt)p(x,z_1,z_2,\dots ,z_T) = p(x,z_{1:T}) = p(z_T)p_{\theta}(x|z_1)\prod_{t=2}^{T}p_{\theta}(z_{t-1}|z_t)

隐变量的Z1:TZ_{1:T}后验概率可以分解为

qϕ(z1,z2,…,zT∣x)=qϕ(z1:T∣x)=qϕ(z1∣x)∏t=2Tqϕ(zt∣zt−1)q_{\phi}(z_1,z_2,\dots,z_T | x) = q_{\phi}(z_{1:T}|x) = q_{\phi}(z_1|x)\prod_{t=2}^{T}q_{\phi}(z_t|z_{t-1})

我们希望学到的模型能尽可能生成与真实样本分布一致的数据,模型的优化目标是为了最大化p(x)p(x)

ln⁡p(x)=ln⁡∫p(x,z1:T)dz1:T=ln⁡∫p(x,z1:T)qϕ(z1:T∣x)qϕ(z1:T∣x)dz1:T=ln⁡Eqϕ(z1:T∣x)(p(x,z1:T)qϕ(z1:T∣x))≥Eqϕ(z1:T∣x)(ln⁡p(x,z1:T)qϕ(z1:T∣x))\begin{aligned} \ln p(x) &= \ln \int{p(x,z_{1:T})dz_{1:T}} \\ &= \ln \int{\frac{p(x,z_{1:T})q_{\phi}(z_{1:T}|x)}{q_{\phi}(z_{1:T}|x)}dz_{1:T}} \\ &= \ln \mathbb{E}_{q_{\phi}(z_{1:T}|x)}(\frac{p(x,z_{1:T})}{q_{\phi}(z_{1:T}|x)}) \\ &\geq \mathbb{E}_{q_{\phi}(z_{1:T}|x)} (\ln{\frac{p(x,z_{1:T})}{q_{\phi}(z_{1:T}|x)}}) \end{aligned}

扩散模型

前向编码过程的每一个步骤的编码器q(xt∣xt−1)q(x_t|x_{t-1})不再通过神经网络学习，而是固定为一个高斯线性变换。

不区分xx和zz，每个xtx_t的尺寸都是相同的

由于编码器被假设为线性高斯，当TT趋向无穷时，xTx_T是一个正态分布即随着TT的增大,xTx_T趋近于正态分布。这个线性高斯设定一个小于 1 的渐系数， 可以使得xTx_T收敛到一个标准正态分布

前向-后向

两种方法算出来的值是不同的

描述数据从干净状态x0x_0逐步加噪到xTx_T的路径概率

p(x0:T)=q(x0)∏t=1Tq(xt∣xt−1)p(x_{0:T}) = q(x_0)\prod_{t=1}^{T}q(x_t|x_{t-1})

描述从噪声xTx_T逐步去噪生成$x_0 $路径概率

p(x0:T)=p(xT)∏t=T1p(xt−1∣xt)p(x_{0:T}) = p(x_T)\prod_{t=T}^1p(x_{t-1}|x_t)

前向过程

代表真实图像x0x_0的真实概率分布p(x0)p(x_0)的概率密度函数是不知道的，但我们能得到一批真实的图像样本，也就是我们有x0x_0的观测样本， 此时x0x_0是已知观测值，x1:Tx_{1:T} 是未知的隐变量， 这时整个马尔科夫网络的联合概率变成了一个条件概率q(x1:T∣x0)q(x_{1:T}|x_0)。

q(x1:T∣x0)=q(x0:T)q(x0)=q(x0)∏t=1Tq(xt∣xt−1)q(x0)=∏t=1Tq(xt∣xt−1)q(x_{1:T}|x_0) = \frac{q(x_{0:T})}{q(x_0)} = \frac{q(x_0)\prod_{t=1}^{T} q(x_t|x_{t-1})}{q(x_0)} = \prod_{t=1}^{T} q(x_t|x_{t-1})

根据前面的假设，前向过程每一个步骤的编码器q(xt∣xt−1)q(x_t|x_{t-1})固定为一个线性高斯变换。定义 q(xt∣xt−1)q(x_t|x_{t-1})的方差与xt−1x_{t−1} 是独立的， 并且为βtI\beta_tI， 其中0<β1<β2<…βT<10<\beta_1<\beta_2<\dots\beta_T<1 。这么做的意义：前期方差较小，添加的噪声少，扩散速度慢；随着方差逐步加大，添加的噪声越来越多，扩散的速度加快。βt\beta_t是人工指定的。

定义q(xt∣xt−1)q(x_t|x_{t-1})的均值μxt\mu _{x_t}和xt−1x_{t-1}是线性关系，这里设定另外一个系数αt\alpha_t，并且令αt=1−βt\alpha_t = 1 - \beta_t。μt\mu_t与xt−1x_{t-1}的关系定义为

  • 这里是xt−1x_{t-1}上的每一个像素点乘上一个αt\sqrt{\alpha_t}得到每一个像素点的均值μxt\mu_{x_t}

μxt=αtxt−1\mu_{x_t} = \sqrt{\alpha_t}x_{t-1}

xtx_t的方差定义与xt−1x_{t-1}无关，而是经过缩放的单位方差，定义为

Σxt=βtI=(1−αt)I\Sigma_{x_t} = \beta_tI = (1 - \alpha_t)I

那么这个时候q(xt∣xt−1)q(x_t|x_{t-1})就是一个以αtxt−1\sqrt{\alpha_t}x_{t-1}为均值，以(1−αt)I(1 - \alpha_t)I为方差的高斯分布（方差固定不变）。它可以看作是在αtxt−1\sqrt{\alpha_t}x_{t-1}的基础上加上一个N(0,(1−αt)I)\mathcal{N}(0,(1-\alpha_t)I)的随机高斯噪声。这就相当于每一个步骤都在前一个步骤的基础上加上一个随机高斯噪声数据，随着tt 的增加， xtx_t逐步变成一个高斯噪声数据。

q(xt∣Xt−1)=N(αtxt−1,(1−αt)I)q(x_t|X_{t-1}) = \mathcal{N}(\sqrt{\alpha_t}x_{t-1},(1-\alpha_t)I)

xt=αtxt−1+N(0,(1−αt)I)=αtxt−1+1−αtϵ,ϵ∼N(0,I)\begin{aligned} x_t &= \sqrt{\alpha_t}x_{t-1} + \mathcal{N}(0,(1-\alpha_t)I)\\ &= \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon,\epsilon\sim \mathcal{N}(0,I) \end{aligned}

αt\alpha_t并非固定，可以随着t的增长逐渐变小。

总的来说，前向过程就是一个逐步添加高斯噪声，最终变成一个纯高斯噪声数据的过程，无参数化表示，假定是一个确定的线性高斯变换。

前向过程中可以从x0x_0一步计算任意的tt，这样可以并行计算全部的xtx_t。公式中的ϵt\epsilon_t是从一个标准正态分布中采样的。推导过程如下：

xt=αtxt−1+1−αtϵt=αt(αt−1xt−2+1−αt−1ϵt−1)+1−αtϵt=αtαt−1xt−2+αt−αtαt−1ϵt−1+1−αtϵt⏟两个相互独立的0均值的高斯分布相加=αtαt−1xt−2+αt−αtαt−12+1−αt2ϵ⏟用一个新的高斯分布代替=αtαt−1xt−2+1−αtαt−1ϵ=∏i=1tαix0+1−∏i=1tαiϵ=αt‾x0+1−αt‾ϵ,αt‾=∏i=1tαi,ϵ∼N(0,I)∼N(αt‾x0,(1−αt‾)I)\begin{aligned} x_t &= \sqrt{\alpha_t}x_{t-1} + \sqrt{1-\alpha_t}\epsilon_t \\ &= \sqrt{\alpha_t}(\sqrt{\alpha_{t-1}}x_{t-2} + \sqrt{1-\alpha_{t-1}}\epsilon_{t-1}) + \sqrt{1-\alpha_t}\epsilon_t\\ &= \sqrt{\alpha_t\alpha_{t-1}}x_{t-2} + \underbrace{\sqrt{\alpha_t-\alpha_t\alpha_{t-1}}\epsilon_{t-1}+ \sqrt{1-\alpha_t}\epsilon_t}_{\text{两个相互独立的0均值的高斯分布相加}}\\ &= \sqrt{\alpha_t\alpha_{t-1}}x_{t-2} + \underbrace{\sqrt{\sqrt{\alpha_t-\alpha_t\alpha_{t-1}}^2+ \sqrt{1-\alpha_t}^2}\epsilon}_{\text{用一个新的高斯分布代替}} \\ &= \sqrt{\alpha_t\alpha_{t-1}}x_{t-2} +{\sqrt{1 - \alpha_t\alpha_{t-1}}\epsilon} \\ &= \sqrt{\prod_{i=1}^t{\alpha_i}}x_0 + \sqrt{1 -\prod_{i=1}^t{\alpha_i}}\epsilon \\ & = \sqrt{\overline{\alpha_t}}x_0 + \sqrt{1 -\overline{\alpha_t}}\epsilon ,\overline{\alpha_t} = \prod_{i=1}^t{\alpha_i},\epsilon\sim \mathcal{N}(0,I) \\ &\sim\mathcal{N}(\sqrt{\overline{\alpha_t}}x_0,(1 -\overline{\alpha_t})I) \end{aligned}

我们发现只要设置了超参数α0:T\alpha_{0:T}的值，这个前向计算过程是可以直接解析（使用公式）计算的， 没有未知参数，不需要用一个模型学习这个过程。

逆向过程

逆向过程是从右到左的解码过程，从随机高斯噪声开始，逐步解码为一个有意义的数据。按照逆向过程对联合概率p(x0:T)p(x_{0:T})进行分解

p(x0:T)=p(xT)∏t=T−10p(xt∣xt+1)p(x_{0:T}) = p(x_T)\prod_{t=T - 1}^0p(x_{t}|x_{t+1})

我们可以知道p(xT)p(x_T)的概率密度，**是一个标准高斯分布，这是前向过程的目标。**但是pθ(xt∣xt+1)p_{\theta}(x_t|x_{t+1})是难以计算的。

pθ(xt∣xt+1)=p(xt+1∣xt)p(xt)p(xt+1)=p(xt+1∣xt)p(xt)∫p(xt+1∣xt)p(xt)dxt\begin{aligned} p_{\theta}(x_t|x_{t+1}) &= \frac{p(x_{t+1}|x_t)p(x_t)}{p(x_{t + 1})}\\ &=\frac{p(x_{t+1}|x_t)p(x_t)}{\int{p(x_{t + 1}|x_t)p(x_t)dx_t}} \end{aligned}

这种情况下要对所有可能的xtx_t进行积分，显然是不可能做到的。所以我们可以用一个模型去拟合pθ(xt∣xt+1)p_{\theta}(x_t|x_{t+1})的，从而生成一张真实图片。

目标函数(ELBO)

**同前面的VAE的数学推导，**我们可以用极大似然估计来极大化真实图片概率p(x0)p(x_0)（边际分布）。

p(x0)=∫p(x0:T)dx1:Tp(x_0) = \int{p(x_{0:T})d{x_{1:T}}}

显然无法直接通过这个式子求出p(x0)p(x_0)，存在隐变量无法直接积分，下面来推导ELBO。

ln⁡p(x0)=ln⁡∫p(x0:T)dx1:T=ln⁡∫p(x0:T)q(x1:T∣x0)q(x1:T∣x0)dx1:T=ln⁡Eq(x1:T∣x0)[p(x0:T)q(x1:T∣x0)]≥Eq(x1:T∣x0)[ln⁡p(x0:T)q(x1:T∣x0)]=Eq(x1:T∣x0)[ln⁡p(xT)∏t=1Tpθ(xt−1∣xt)∏t=1Tq(xt∣xt−1)]=Eq(x1:T∣x0)[ln⁡p(xT)pθ(x0∣x1)∏t=2Tpθ(xt−1∣xt)q(xT∣xT−1)∏t=1T−1q(xt∣xt−1)]=Eq(x1:T∣x0)[ln⁡p(xT)pθ(x0∣x1)∏t=1T−1pθ(xt∣xt+1)q(xT∣xT−1)∏t=1T−1q(xt∣xt−1)]=Eq(x1:T∣x0)[ln⁡p(xT)pθ(x0∣x1)q(xT∣xT−1)]+Eq(x1:T∣x0)[ln⁡∏t=1T−1pθ(xt∣xt+1)q(xt∣xt−1)]=Eq(x1:T∣x0)[ln⁡pθ(x0∣x1)]+Eq(x1:T∣x0)[ln⁡p(xT)q(xT∣xT−1)]+Eq(x1:T∣x0)[∑t=1T−1ln⁡pθ(xt∣xt+1)q(xt∣xt−1)]=Eq(x1∣x0)[ln⁡pθ(x0∣x1)]+Eq(xT−1,xT∣x0)[ln⁡p(xT)q(xT∣xT−1)]+∑t=1T−1Eq(xt−1,xt,xt+1∣x0)[ln⁡pθ(xt∣xt+1)q(xt∣xt−1)]=Eq(x1∣x0)[ln⁡pθ(x0∣x1)]⏟重建项−Eq(xT−1,xT∣x0)[ln⁡p(xT)q(xT∣xT−1)]⏟先验匹配项−∑t=1T−1Eq(xt−1,xt,xt+1∣x0)[ln⁡pθ(xt∣xt+1)q(xt∣xt−1)]⏟一致项\begin{aligned} \ln{p(x_0)} &= \ln{\int{p(x_{0:T})d{x_{1:T}}}} \\ &= \ln{\int{\frac{p(x_{0:T})q(x_{1:T}|x_0)}{q(x_{1:T}|x_0)}}d{x_{1:T}}}\\ &= \ln{\mathbb{E}_{q(x_{1:T}|x_0)}[\frac{p(x_{0:T})}{q(x_{1:T}|x_0)}]} \\ &\ge \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_{0:T})}{q(x_{1:T}|x_0)}}]\\ &= \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_T)\prod_{t=1}^Tp_{\theta}(x_{t-1}|x_{t})}{\prod_{t=1}^{T} q(x_t|x_{t-1})}}]\\ &= \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_T)p_{\theta}(x_0|x_1)\prod_{t=2}^Tp_{\theta}(x_{t-1}|x_{t})}{q(x_{T}|x_{T-1})\prod_{t=1}^{T-1} q(x_t|x_{t-1})}}]\\ &=\mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_T)p_{\theta}(x_0|x_1)\prod_{t= 1}^{T - 1}p_{\theta}(x_{t}|x_{t+1})}{q(x_{T}|x_{T-1})\prod_{t=1}^{T-1} q(x_t|x_{t-1})}}]\\ &=\mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_T)p_{\theta}(x_0|x_1)}{q(x_{T}|x_{T-1})}}] + \mathbb{E}_{q(x_{1:T}|x_0)}[\ln\prod_{t=1}^{T - 1}{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}]\\ &= \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{p_{\theta}(x_0|x_1)}] + \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}] + \mathbb{E}_{q(x_{1:T}|x_0)}[{\sum_{t=1}^{T-1}{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}}]\\ &= \mathbb{E}_{q(x_{1}|x_0)}[\ln{p_{\theta}(x_0|x_1)}] + \mathbb{E}_{q(x_{T - 1},x_T|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}] + \sum_{t=1}^{T-1}\mathbb{E}_{q(x_{t-1},x_{t},x_{t+1}|x_0)}[{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}]\\ &= \underbrace{\mathbb{E}_{q(x_{1}|x_0)}[\ln{p_{\theta}(x_0|x_1)}]}_{\text{重建项}} - \underbrace{\mathbb{E}_{q(x_{T - 1},x_T|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}] }_{\text{先验匹配项}} - \underbrace{\sum_{t=1}^{T-1}\mathbb{E}_{q(x_{t-1},x_{t},x_{t+1}|x_0)}[{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}]}_{\text{一致项}} \end{aligned}

我们接着来说明倒数第三个等式如何推成倒数第二个等式：（本质是对无关变量进行边缘化）

核心公式：

q(xT−1∣x0)=∫q(x1∣x0)q(x2∣x1)…q(xT−1∣xT−2)dx1:T−2=∫q(x1∣x0)q(x2∣x1,x0)…q(xT−1∣xT−2,xT−3…,x0)dx1:T−2=∫q(x0:T)q(x0)dx1:T−2=∫q(x1:T∣x0)dx1:T−2=q(xT−1∣x0)\begin{aligned} q(x_{T-1}|x_0) &= \int{q(x_1|x_0)q(x_2|x_1)\dots q(x_{T-1}|x_{T-2})}dx_{1:T-2} \\ &= \int{q(x_1|x_0)q(x_2|x_1,x_0)\dots q(x_{T-1}|x_{T-2},x_{T-3}\dots,x_0)}dx_{1:T-2} \\ &= \int{\frac{q(x_{0:T})}{q(x_0)}}dx_{1:T-2} \\ &= \int{q(x_{1:T}|x_0)}dx_{1:T-2} \\ &= q(x_{T-1}|x_0) \end{aligned}

Eq(x1:T∣x0)[ln⁡pθ(x0∣x1)]=∫ln⁡pθ(x0∣x1)q(x1:T∣x0)dx1:T=∫ln⁡pθ(x0∣x1)q(x1∣x0)dx1∫∏2T−1q(xt∣xt−1)dx2:T⏟1(积分归一性)=Eq(x1∣x0)[ln⁡pθ(x0∣x1)]\begin{aligned} \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{p_{\theta}(x_0|x_1)}] &= \int{\ln{p_{\theta}(x_0|x_1)}q(x_{1:T}|x_0)}d{x_{1:T}}\\ &=\int{\ln{p_{\theta}(x_0|x_1)}q(x_1|x_0)}d{x_1}\underbrace{\int{\prod_{2}^{T-1}{q(x_t|x_{t-1})}}d{x_{2:T}}}_{1(\text{积分归一性})}\\ &=\mathbb{E}_{q(x_1|x_0)}[{\ln{p_{\theta}(x_0|x_1)}}] \end{aligned}

Eq(x1:T∣x0)[ln⁡p(xT)q(xT∣xT−1)]=∫ln⁡p(xT)q(xT∣xT−1)q(x1:T∣x0)dx1:T=∫ln⁡p(xT)q(xT∣xT−1)q(xT∣xT−1)dxT−1,T∫∏t=1T−1q(xt∣xt−1)dx1:T−2⏟积分归一性:q(xT−1∣x0)=∫ln⁡p(xT)q(xT∣xT−1)q(xT∣xT−1)q(xT−1∣x0)dxT−1,T=∫ln⁡p(xT)q(xT∣xT−1)q(xT−1,xT∣x0)dxT−1,T=Eq(xT−1,xT∣x0)[ln⁡p(xT)q(xT∣xT−1)]\begin{aligned} \mathbb{E}_{q(x_{1:T}|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}] &= \int{\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}q(x_{1:T}|x_0)}d{x_{1:T}} \\ &= \int{\ln{\frac{p(x_T)}{q(x_T|x_{T-1})}}}q(x_T|x_{T-1})dx_{T-1,T} \underbrace{\int{\prod_{t=1}^{T-1}q(x_t|x_{t-1})}dx_{1:T-2}}_{\text{积分归一性}:q(x_{T-1}|x_0)} \\ &= \int{\ln{\frac{p(x_T)}{q(x_T|x_{T-1})}}}q(x_T|x_{T-1})q(x_{T-1}|x_0)dx_{T-1,T}\\ &= \int{\ln{\frac{p(x_T)}{q(x_T|x_{T-1})}}}q(x_{T-1},x_{T}|x_0)dx_{T-1,T}\\ &= \mathbb{E}_{q(x_{T - 1},x_T|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}] \end{aligned}

Eq(x1:T∣x0)[∑t=1T−1ln⁡pθ(xt∣xt+1)q(xt∣xt−1)]=∑t=1T−1∫ln⁡pθ(xt∣xt+1)q(xt∣xt−1)q(x1:T∣x0)dx1:T=∑t=1T−1∫ln⁡pθ(xt∣xt+1)q(xt∣xt−1)∏k=1Tq(xk−1∣xk)dx1:T=∑t=1T−1∫ln⁡pθ(xt∣xt+1)q(xt∣xt−1)q(xt∣xt−1)q(xt+1∣xt)dxt−1,xt,xt+1∫∏1t\begin{aligned} \mathbb{E}_{q(x_{1:T}|x_0)}[{\sum_{t=1}^{T-1}{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}}] &= \sum_{t=1}^{T-1}\int{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}q(x_{1:T}|x_0)}d_{x_{1:T}} \\ &= \sum_{t=1}^{T-1}\int{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}\prod_{k=1}^Tq(x_{k-1}|x_k)dx_{1:T}\\ &= \sum_{t=1}^{T-1}\int{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}q(x_{t}|x_{t-1})q(x_{t+1}|x_{t})d{x_{t-1},x_{t},x_{t+1}} \int{\prod_1^{t}} \end{aligned}

接着来看最后ELBO的三个式子：

  • Eq(x1∣x0)[ln⁡pθ(x0∣x1)]\mathbb{E}_{q(x_{1}|x_0)}[\ln{p_{\theta}(x_0|x_1)}]：重建项，和原始的VAE的第一项相同，从第一步的隐变量x1x_1重建回原来的数据x0x_0
  • Eq(xT−1,xT∣x0)[ln⁡p(xT)q(xT∣xT−1)]\mathbb{E}_{q(x_{T - 1},x_T|x_0)}[\ln{\frac{p(x_{T})}{q(x_{T}|x_{T-1})}}]：先验匹配项，这一项没用学习参数，当TT足够大的时候可以认为这一项是0
  • ∑t=1T−1Eq(xt−1,xt,xt+1∣x0)[ln⁡pθ(xt∣xt+1)q(xt∣xt−1)]\sum_{t=1}^{T-1}\mathbb{E}_{q(x_{t-1},x_{t},x_{t+1}|x_0)}[{\ln{\frac{p_{\theta}(x_{t}|x_{t+1})}{ q(x_t|x_{t-1})}}}]：KL散度度量，一致项，这一项制约着在每一个时刻tt，解码器预测的内容和编码器生成的内容要一致

个人理解

  • 初始扩散模型前向过程的线性高斯变换已经给出，前向过程进行到最后是一个标准高斯分布，但是也可以采取不同的线性高斯变换，只要加噪到最后是一个标准高斯分布即可，殊途同归
  • 扩散模型前向过程的参数是人为定义的，没有需要学习的参数
  • 反向生成的过程：扩散模型反向生成的每一步都是希望能够直接生成原始图像的，在后续数学推导可见得，有点囫囵吞枣的意味，这说明他的性能有上限，设计具有局限性，后面的DDPI改善了此问题
  • 扩散模型相较VAE能够学习到更深层的特征，因为有T层的加噪和T层的还原，VAE只有一步重建
  • 计算期望的时候由于无法直接积分，采用采样法（MCMC）进行均值计算

Denoising Diffusion Probabilistic Models(去噪扩散概率模型 DDPM)

训练算法

学习如何预测噪声，而不是直接生成图像

  1. 从真实图像数据分布q(x0)q(x₀)中采样一张干净图像x0x_0
  2. 从均匀分布Uniform(1,...,T)Uniform({1, ..., T})中随机抽取一个时间步tt
  3. 从N(0,I)\mathcal{N}(0,I)采样出噪声ϵ\epsilon
  4. 根据∇θ∥ϵ−ϵθ(αtx0+1−αtϵ,t)∥2\nabla_\theta \|\epsilon - \epsilon_\theta(\sqrt{\alpha_t}x_0 + \sqrt{1-\alpha_t}\epsilon, t)\|^2作梯度下降
    • αt\alpha_t与第几次去噪有关，次数多说明真正的图片x0x_0占比大
    • 让模型学会预测噪声，以便在反向采样时去噪
image-20250511112847361
image-20250511112847361

反向采样算法

实际生成新图像

  1. 从正态分布中采样一个图像XTX_T
  2. 从正态分布中采样一个噪声zz
  3. 使用公式进行迭代xt−1=1αt(xt−1−αt1−α‾tϵθ(xt,t))+σtzx_{t-1} = \frac{1}{\sqrt{\alpha_t}}(x_t - \frac{1-\alpha_t}{\sqrt{1-\overline{\alpha}_t}}\epsilon_{\theta}(x_t,t)) + \sigma_tz
    • xt−1x_{t-1}为第t−1t-1次的去噪结果
    • αt,α‾t\alpha_t,\overline{\alpha}_t与第几次去噪有关
    • ϵθ(xt,t)\epsilon_{\theta}(x_t,t)是一个噪声预测器
image-20250511111842681
image-20250511111842681