Diffusion Model的基本概念

• Denoising Diffusion Probabilistic Models (DDPM)

影像生成系统的应用

• DALL-E

• Imagen

• Stable Diffusion

Diffusion Model的运作原理

生成图片的步骤

• 从高斯分布中采样噪声向量

• 使用Denoise模块逐步去噪

Reverse Process

• 从噪声到清晰图片的过程

• 类比米开朗基罗的雕像创作

Denoise模型的详细说明

• 反复使用同一个Denoise模型

• 额外输入噪声严重程度数值

Denoise模型的内部结构

• Noise Predictor的作用

• 预测并减去噪声

Noise Predictor的训练方法

人为创造训练数据

• 从数据库提取图片并添加噪声

• Forward Process (Diffusion Process)

训练数据的构成

• 加噪声的图片和步骤数

• 噪声作为预测输出

文字与图像生成模型的结合

成对资料的需求

• 图片与文字的对应关系

数据集的规模

• ImageNet

• LAION 5B

文字在Denoise过程中的应用

• 文字描述作为额外输入

• 修改Noise Predictor以处理文字