DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation
扩散大语言模型 (dLLM) 是自回归 (AR) 模型的引人注目的替代品,因为它们的去噪模型在整个序列上运行。 dLLM 的全局规划和迭代细化功能对于代码生成特别有用。然而,目前 dLLM 在编码方面的训练和推理机制仍有待探索。为了揭开 dLLM 解码行为的神秘面纱并释放其编码潜力,我们系统地研究了它们的去噪过程和强化学习 (RL) 方法。我们在 130B 上训练 7B dLLM,\textbf{DiffuCoder}...
DarkDiff: Advancing Low-Light Raw Enhancement by Retasking Diffusion Models for Camera ISP
在极低光照条件下进行高质量摄影虽然具有挑战性,但对于数码相机来说却具有影响力。借助先进的计算硬件,传统的相机图像信号处理器 (ISP) 算法逐渐被高效的深度网络所取代,这些网络可以更智能地增强噪声原始图像。然而,现有的基于回归的模型通常会最大限度地减少像素错误,并导致低光照片或深阴影的过度平滑。最近的工作试图通过从头开始训练扩散模型来解决这一限制,但这些模型仍然难以恢复清晰的图像细节......
Score Distillation of Flow Matching Models
扩散模型实现了高质量的图像生成,但受到缓慢的迭代采样的限制。蒸馏方法通过一步或几步生成来缓解这一问题。流匹配最初是作为一个独特的框架引入的,后来被证明在理论上等同于高斯假设下的扩散,这就提出了蒸馏技术(例如分数蒸馏)是否可以直接转移的问题。我们提供了一个简单的推导——基于贝叶斯规则和条件期望——统一了高斯扩散和流量匹配,而不依赖于 ODE/SDE……