机构名称：
¥ 1.0
1简介变形金刚及其关键组成部分近年来一直是生成模型的成功和改进的组成部分[Vaswani等。，2023]。他们的全球掌握领域，基于输入上下文动态计算的能力以及较大的能力使它们在许多任务中有用的构建块[Khan等人。，2022]。变压器体系结构的主要缺点是它们具有序列长度的计算复杂性的二次扩展，并符合时间和内存要求。想要在2048×2048分辨率下生成稳定的扩散图像时，最大的U-NET块的注意图在半精度中的记忆成本约为69 GB，为（1 batch×8头×（256 2代币）2×2 bytes）。这超出了大多数消费者GPU的功能[Zhuang等。，2023]。专门的内核，例如用于闪烁的注意力，其速度大大提高并降低了存储成本[Dao等。，2022]，由于序列长度的不可行的二次缩放而引起的挑战是持久的。在寻求计算效率的过程中，稀疏注意的概念已获得关注。类似于令牌合并（Tome）的方法[Bolya等。，2023]及其在潜在图像扩散模型中的应用[Bolya and Hoffman，2023]已减少了以高相似性凝结令牌所需的计算时间，从而保留了
todo：象征性下采样，以有效地生成高分辨率图像
主要关键词
相关文件推荐
