1 研究背景、动机、主要贡献 1.1 研究背景 GAN的崛起，扩散模型迅速发展，视觉-语言模型（如CLIP）的发展，Blended Diffusion 的提出。 1.2 存在问题(动机) 1.2.1 现有方案 Blende...

1 研究背景、动机、主要贡献 1.1 研究背景 文本生成图像的进展使得通过自然语言生成和编辑图像变得可行。特别是，基于 GAN 的方法在文本驱动的图像生成上取得了显著效果。 1.2 存在问题(动机) 1.2.1 现有方案 ...

1 研究背景、动机、主要贡献1.1 存在问题(动机)自回归生成由于图像令牌数量庞大，效率低下；而非自回归方法（如MIM）则在性能上有限，无法与先进的扩散模型相比。 1.2 主要贡献 增强的变换器架构：结合多模态和单模态变换器层，提高M...

1 研究背景、动机、主要贡献1.1 研究背景近年来，大型文本生成图像扩散模型（如GLIDE、DALL-E 2、Stable Diffusion等）取得了显著进展，能够根据文本提示生成高保真图像。然而，生成理想的图像通常需要复杂的提示词...

1 研究背景、动机、主要贡献 1.1 研究背景 现有的尝试主要是独立地对待每个领域，并且通常涉及单独负责理解和生成的模型。 1.2 主要贡献 提出了Show-o，一个能够同时处理多模态理解和生成任务的统一Transfo...

1 研究背景、动机、主要贡献 1.1 研究背景 尽管扩散模型在连续数据上表现良好，但在离散数据（如文本或量化后的图像）上的应用仍然有限。现有的离散扩散模型主要集中在文本和图像分割领域，尚未在大规模文本或图像生成任务上展示出竞争力。...

1 研究背景、动机、主要贡献 主要贡献 Transfusion方法的提出：通过将离散文本标记的预测和连续图像的扩散过程完全整合，Transfusion能够同时处理这两种模态，无信息损失。 多模态训练框架：论文展示了如何在一个统一...

1 研究背景、动机、主要贡献 1.1 研究背景 标准自回归模型 vs. VAR AR在文本中的应用：按顺序从左到右逐个生成文本标记。 AR在图像中的应用：以类似的方式，从左到右、从上到下逐行生成图像的视觉标记，类似于在文本...

1 研究背景 基于自回归模型的 LLMs 取得了显著进展，部分研究开始探讨自回归模型在图像生成领域的应用，并引入图像标记化技术将连续图像转换为离散标记，从而实现图像标记的生成。 2 论文提出的新思路、新理论、或新方法 首先，...

1. 研究背景、动机、主要贡献 1.1 研究背景 像Imagen、DALL·E 2和Parti等LLI模型，展示了出色的语义生成和组合能力，但它们在图像编辑方面存在控制力不足的问题。即使是对文本提示的轻微修改，生成的图像也可能完...