XiaoMi-AI文件搜索系统
World File Search System剪枝
深度神经网络剪枝综述
摘要 — 现代深度神经网络，尤其是最近的大型语言模型，具有巨大的模型大小，需要大量的计算和存储资源。为了能够在资源受限的环境中部署现代模型并加快推理时间，研究人员越来越多地探索修剪技术作为神经网络压缩的热门研究方向。从 2020 年到 2024 年，已经发表了三千多篇修剪论文。然而，关于修剪的最新综合评论论文却很少。为了解决这个问题，在这篇调查中，我们对现有的深度神经网络修剪研究工作进行了全面的回顾，分类为 1) 通用/特定的加速，2) 何时修剪，3) 如何修剪，以及 4) 修剪与其他压缩技术的融合。然后，我们对八对对比设置（例如非结构化/结构化、一次性/迭代、无数据/数据驱动、初始化/预训练权重等）进行了彻底的比较分析，并探讨了几个新兴主题，包括大型语言模型、视觉变压器、扩散模型和大型多模态模型的修剪、训练后修剪以及不同级别的监督修剪，以阐明现有方法的共性和差异，并为进一步的方法开发奠定基础。最后，我们就选择修剪方法提出了一些有价值的建议，并展望了神经网络修剪的几个有前途的研究方向。为了促进未来对深度神经网络修剪的研究，我们总结了广泛的修剪应用（例如，对抗鲁棒性、自然语言理解等），并建立了一个精选的数据集、网络和不同应用的评估集合。我们在 https://github.com/hrcheng1066/awesome-pruning 上维护了一个存储库，它是神经网络修剪论文和相应开源代码的综合资源。我们将不断更新此存储库，以包含该领域的最新进展。
矮化和自剪枝的基因组编辑可快速赋予适合植物工厂的特性，同时保留番茄的有用特性
采用人工光照的植物工厂比露天种植受作物栽培环境因素的影响更小，作为解决世界粮食问题的解决方案之一而受到关注。然而，植物工厂的栽培成本高于露天种植，目前，工厂化种植的有利可图的作物品种仅限于那些体型较小或生长期较短的品种。番茄是世界各地主要消费作物之一，但由于其株高和株宽较大，尚不适合在植物工厂中大规模生产。本研究利用 CRISPR–Cas9 方法对 GABA 超积累番茄品种#87-17 的 DWARF( D ) 和 SELF-PRUNING( SP ) 基因进行基因组编辑，以生产矮化番茄植株。在 T 1 基因组编辑代中获得了所需性状，果实性状与原始品种几乎相同。另一方面，含有 d 和 sp 突变的 #87-17 与 Micro-Tom 之间的 F 2 杂交品种矮化，但果实表型是两个品种性状的混合。这表明使用 CRISPR–Cas9 对这两个基因进行基因组编辑可以有效地赋予适合植物工厂化栽培的性状，同时保留原始品种的有用性状。
探索神经网络剪枝以实现任务专业化
本文探讨了在迁移学习应用中使用神经网络修剪来实现更高效的推理。目标是将神经网络集中并优化在较小的专门目标任务上。随着物联网的出现，我们看到基于人工智能的移动和嵌入式设备（如可穿戴设备和其他智能设备）的应用大幅增加。然而，随着机器学习算法的复杂性和能力不断增加，由于这些设备上资源有限，这种向边缘的推进带来了新的挑战。需要某种形式的压缩才能让最先进的卷积神经网络在边缘设备上运行。在这项工作中，我们调整了现有的神经网络修剪方法，使它们能够专门化网络，使其仅关注最初训练的子集。这是一个迁移学习用例，我们优化大型预训练网络。这与标准优化技术不同，它允许网络忘记某些概念，并使网络的占用空间更小。我们比较了不同的修剪标准，包括可解释人工智能 (XAI) 领域的标准，以确定哪种技术可以实现尽可能小的网络，同时保持目标任务的高性能。我们的结果显示了在嵌入式设备上执行神经网络时使用网络专业化的好处，无论是否使用 GPU 加速。
基于 FPGA 的剪枝神经网络可靠性评估
卷积神经网络（CNN）被广泛用于图像分类。为了使CNN适合在资源有限的系统（如FPGA）上实现，剪枝是一种降低复杂度的流行技术。本文以VGG16为例，评估了剪枝后的CNN对FPGA加速器权重和配置内存错误的鲁棒性，并考虑了两种流行的剪枝方法（基于幅度和过滤器剪枝）。特别地，基于故障注入实验测试了原始VGG16和具有不同剪枝率的VGG16的精度损失，结果表明两种剪枝方法对权重和配置内存的错误影响不同。对于权重错误，使用两种方法剪枝的网络在剪枝率较高的情况下表现出更高的可靠性，但使用过滤器剪枝的网络可靠性相对较低。对于配置内存错误，大约30%的配置位上的错误会影响CNN操作，其中只有14%会导致显着的精度损失。但相同关键比特位对于两种剪枝方法的影响是不同的，采用基于量级方法剪枝后的网络可靠性低于原始VGG16，而采用过滤器剪枝后的网络可靠性高于原始VGG16。从CNN加速器的结构和两种剪枝方法的性质出发，解释了这种不同的影响，并评估了基于量级方法量化对CNN可靠性的影响。
用于实际网络压缩的组 Fisher 剪枝
网络压缩由于能够减少推理过程中的内存和计算成本而得到了广泛的研究。然而，以前的方法很少处理残差连接、组/深度卷积和特征金字塔网络等复杂结构，其中多层的通道是耦合的，需要同时进行修剪。在本文中，我们提出了一种通用的通道修剪方法，可应用于各种复杂结构。特别地，我们提出了一种层分组算法来自动查找耦合通道。然后，我们基于 Fisher 信息推导出一个统一的度量来评估单个通道和耦合通道的重要性。此外，我们发现 GPU 上的推理加速与内存 2 的减少而不是 FLOPs 的减少更相关，因此我们采用每个通道的内存减少来规范重要性。我们的方法可以用来修剪任何结构，包括具有耦合通道的结构。我们对各种骨干网络进行了广泛的实验，包括经典的 ResNet 和 ResNeXt、适合移动设备的 MobileNetV2 以及基于 NAS 的 RegNet，这些实验都针对尚未得到充分探索的图像分类和对象检测。实验结果验证了我们的方法可以有效地修剪复杂的网络，在不牺牲准确性的情况下提高推理速度。
深度神经网络剪枝的新标准
卷积神经网络 (CNN) 在各种应用中的成功伴随着计算和参数存储成本的显著增加。最近为减少这些开销所做的努力包括修剪和压缩各个层的权重，同时力求不牺牲性能。在本文中，我们提出了一种受神经网络可解释性启发的 CNN 修剪新标准：使用从可解释人工智能 (XAI) 概念中获得的相关性分数，自动找到最相关的单元，即权重或过滤器。通过探索这个想法，我们将可解释性和模型压缩研究联系起来。我们表明，我们提出的方法可以在迁移学习设置中有效地修剪 CNN 模型，在这种设置中，在大型语料库上预训练的网络可以适应专门的任务。该方法在广泛的计算机视觉数据集上进行了评估。值得注意的是，我们的新标准不仅在进行连续再训练时与最先进的修剪标准相比具有竞争力或更好，而且在资源受限的应用场景中，其表现明显优于这些先前的标准，在这种场景中，要迁移到的任务的数据非常稀缺，并且人们选择不进行微调。我们的方法能够迭代压缩模型，同时保持甚至提高准确性。同时，它的计算成本与梯度计算的数量级相当，并且应用起来相对简单，无需调整修剪的超参数。
使用 Alpha-Beta 剪枝进行棋盘游戏 AI 开发
如今，电子游戏行业正在迅速发展，并受到越来越多的关注。该行业通过不断突破可能的界限来激发创新，从而鼓励人们创造新技术。由于这种快速变化，许多传统的策略棋盘游戏正在失去人们的兴趣。使用人工智能创建数字化版本将使这些游戏重新吸引到大量观众的关注中。国际象棋就是数字化棋盘游戏的一个很好的例子。这种游戏的许多不同实现都使用 Minimax 或 Alpha-Beta 剪枝算法 [8]。Minimax 是一种算法，它首先假设 AI 总是会移动以最大化评估函数给出的分数，而对手总是会移动以最小化该分数。对于每个节点，我们可以递归地将其分数定义为如果是最大玩家的回合，则其子节点的分数的最大值，否则为最小值。叶子节点由评估函数评分 [9]。Alpha beta 剪枝是一种改进的 Minimax 算法。该算法并不计算所有节点——它会剪掉那些不影响可能结果的节点。[9]