XiaoMi-AI文件搜索系统
World File Search System重修
制定重修课程的成功计划
第 2 步：使用此表格背面的列表作为可能答案的指南。写下至少三种您将用来实现这次不同结果的具体策略。“每天在图书馆学习两个小时”就是一个很好的例子。“学习更多”需要更多细节。
深度神经网络的结构化权重修剪与三元化的和谐共存
深度卷积神经网络 (DNN) 取得了显著成功，广泛应用于多种计算机视觉任务。然而，其庞大的模型规模和高计算复杂度限制了其在 FPGA 和 mGPU 等资源受限的嵌入式系统中的广泛部署。作为两种最广泛采用的模型压缩技术，权重剪枝和量化分别通过引入权重稀疏性（即强制将部分权重设为零）和将权重量化为有限位宽值来压缩 DNN 模型。尽管有研究尝试将权重剪枝和量化结合起来，但我们仍然观察到权重剪枝和量化之间的不协调，尤其是在使用更激进的压缩方案（例如结构化剪枝和低位宽量化）时。本工作以 FPGA 为测试计算平台，以处理单元（PE）为基本并行计算单元，首先提出一种 PE 级结构化剪枝方案，在考虑 PE 架构的同时引入权重稀疏化，并结合优化的权重三元化方法，将权重量化为三元值（{- 1 , 0 , +1 }），将 DNN 中主要的卷积运算从乘法累加（MAC）转换为仅加法，同时将原始模型（从 32 位浮点数到 2 位三元表示）压缩至少 16 倍。然后，我们研究并解决了 PE-wise 结构化剪枝与三元化之间的共存问题，提出了一种自适应阈值的权重惩罚剪枝 (WPC) 技术。我们的实验表明，我们提出的技术的融合可以实现最佳的 ∼ 21 × PE-wise 结构化压缩率，而 ResNet- 18 在 ImageNet 数据集上的准确率仅下降 1.74%/0.94% (top-1/top-5)。