机构名称：
¥ 1.0
我们引入了一种名为 De formable Butterfly (DeBut) 的新型线性变换，它概括了传统的蝴蝶矩阵，可以适应各种输入输出维度。它继承了传统蝴蝶从细粒度到粗粒度的可学习层次结构，当部署到神经网络时，DeBut 层中突出的结构和稀疏性构成了一种新的网络压缩方法。我们将 DeBut 用作标准全连接层和卷积层的直接替代品，并证明了其在均质化神经网络方面的优势，并使其具有轻量级和低推理复杂度等优良特性，同时不影响准确性。DeBut 层的无数变形所带来的自然复杂性-准确性权衡也为分析和实践研究开辟了新的空间。代码和附录可公开获取：https://github.com/ruilin0212/DeBut 。
高度结构化和稀疏的线性变换
主要关键词
相关文件推荐
