DENOISING DIFFUSION IMPLICIT MODELS

  1. 1. 研究背景、动机、主要贡献
  2. 2. 论文提出的新方法
    1. VARIATIONAL INFERENCE FOR NON-MARKOVIAN FORWARD PROCESSES
    2. SAMPLING FROM GENERALIZED GENERATIVE PROCESSES
      1. DENOISING DIFFUSION IMPLICIT MODELS
      2. ACCELERATED GENERATION PROCESSES
  3. 3. 论文实验评估方法与效果

1. 研究背景、动机、主要贡献

在 DDPM 中,生成过程被定义为特定马尔可夫扩散过程的逆过程

本方法通过一类非马尔可夫扩散过程来推广 DDPM。 这些非马尔可夫过程可以对应于确定性的生成过程,从而产生能够更快地生成高质量样本的隐式模型。

2. 论文提出的新方法

VARIATIONAL INFERENCE FOR NON-MARKOVIAN FORWARD PROCESSES

DDPM 论文中:

,

,

本文(DDIM):

,

,(利用 的不同,不断代换就能得出)

根据 )

SAMPLING FROM GENERALIZED GENERATIVE PROCESSES

DENOISING DIFFUSION IMPLICIT MODELS

,给定 ,前向过程变得确定性,t = 1 时除外。因此想求 ,不一定要求出

我们将其命名为去噪扩散隐式模型,因为它是使用 DDPM 目标训练的隐式概率模型(尽管前向过程不再是扩散)。

ACCELERATED GENERATION PROCESSES

DDLM是利用马尔可夫过程,所以要依赖前面的状态。但是本方法不依赖前面的状态,就可以加速。

此外,本文是在 Improved Denoising Diffusion Probabilistic Models 基础上实现的加速(引入子序列进行采样)

3. 论文实验评估方法与效果

随着时间步数的增加,样本质量提高。

DDIM(η=0)在较短的步数下就能得到比较好的效果,媲美DDPM(η=1)的生成效果。

DDIM 能够在 20 到 100 个步骤内生成质量与 1000 个步骤模型相当的样本,与原始 DDPM 相比,速度提高了 10 到 50 倍。


原文链接:DENOISING DIFFUSION IMPLICIT MODELS