Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling
标准离散扩散模型通过将所有未观察到的状态映射到吸收 [MASK] 标记来同等对待它们。这会产生一个“信息空白”，其中可以从未屏蔽的标记推断出的语义信息在去噪步骤之间丢失。我们引入了连续增强离散扩散（CADD），这是一个通过连续潜在空间中的成对扩散来增强离散状态空间的框架。这会产生分级的、逐渐损坏的状态，其中屏蔽的标记由嘈杂但信息丰富的潜在向量表示，而不是崩溃的“信息空白”。在...
