XiaoMi-AI文件搜索系统
World File Search Systemptimal
大型语言模型的结构化最优脑修剪
海量的参数和计算需求阻碍了大型语言模型 (LLM) 的广泛应用。网络剪枝为该问题提供了一个实用的解决方案。然而，现有的 LLM 剪枝工作主要集中于非结构化剪枝或需要剪枝后微调。前者依靠特殊硬件来加速计算，而后者可能需要大量的计算资源。在本文中，我们介绍了一种无需再训练的结构化剪枝方法，称为 SoBP ( S structured O ptimal Brain P runing)。它利用全局一阶信息来选择剪枝结构，然后用局部贪婪方法对其进行细化，最后采用模块重构来减少信息丢失。我们在 8 个不同的数据集上对来自 3 个 LLM 系列的 14 个模型的有效性进行了评估。实验结果表明 SoBP 优于当前最先进的方法。
![arxiv：2502.12217v1 [cs.lg] 2025年2月17日](/simg/g:\will\search\icon\source\3\39e2bc449d26ff8783d1c296a3d24776b7d65187.webp)
arxiv：2502.12217v1 [cs.lg] 2025年2月17日
大型语言模型（LLMS）具有令人印象深刻的能力，但其高计算成本构成了挑战。模型合并提供了一种具有成本效益的替代方案，但现有的方法不受参数之间的干扰，导致性能退化。在这项工作中，我们提出了o ptimal b降雨i（obim），这是一种新型方法，旨在构成构成模型内模型和模型间互动。OBIM由两个关键组成组成：（1）显着度测量机制，该机制根据由个体体重造成的损耗变化评估参数重要性，从而通过仅保留高效能参数来减少模型内部干扰。（2）相互排斥的迭代合并框架工作，该工作使用二进制掩码逐步整合模型，以避免直接的体系平均，从而减轻模型间干扰。我们通过对监督的微调（SFT）模型和后注册的检查点进行实验来验证OBIM。结果表明，OBIM显着超过现有的合并技术。总的来说，OBIM提供了一种有效且实用的效果，以增强LLM合并。接受本文后，我们将公开发布我们的代码。
新闻稿 - MyNavyHR - Navy.mil
1. 水手应在登船报告时通过 STAR 重新入伍（最佳时间为 25 个月，但不早于 24 个月） 2. STAR 重新入伍只要求水手执行岸上职责。 3. 如果在服役 3 年而不是 2 年后执行 A 区（STAR）重新入伍，水手需支付 SRB A 区和 B 区全损失补偿金 17,421 美元至 8,615 美元（视情况而定）之间的倍数。 4. SRB B 区重新入伍要求水手执行岸上职责，而不是返回海上职责。 5. 使用延期来满足 OBLISERV 的岸上职责命令，水手需支付高达 60,000 美元的补偿金。为核训练水手的职业成功做好准备： EDMC 或 RDMC 负责从摇篮到坟墓的核士兵职业规划、教育和船上留用。此所有权由您的 CCC 支持，并反映了您的 EDMC 或 RDMC 的表现。 EDMC 或 RDMC 签到面试是解决水手有关何时 STAR 重新入伍的任何误解的绝佳机会。这是一个讨论整体核士兵职业道路、STAR 重新入伍的优势以及 STAR 重新入伍只要求水手参加岸上巡回演出的机会。 根据管道长度，一些水手可能会在 NPTU 执行 STAR 重新入伍后在船上报告。 考虑何时是接受核训练的水手在报告后重新入伍 STAR 的合理时间目标。这个目标应该在水手完成船上的教导和 STAR 重新入伍的最佳时间之间取得平衡，同时不会给重新入伍带来额外的障碍（例如值班站资格）。 将水兵重新入伍 SRB 区域 B 的资格作为入伍计划会议、职业发展委员会和重点项目部门的一部分。 考虑实施一项政策，即向您简要介绍任何水兵提交 NAVPERS 1070/613（通常称为第 13 页）的意图，要求执行延期而不是区域 B 重新入伍以满足 OBLISERV 命令的要求。 对于希望重新入伍 SRB 区域 B 的水兵，如果服役时间未满 6 年零 1 天，请与 PERS-403 协调并提交 NAVPERS 1070/613，详细说明水兵在符合条件时重新入伍的意图（见图 4）以满足 OBLISERV 命令的要求。” STAR 重新入伍的要求、理由和最佳影响：STAR（选择性训练和重新入伍）计划 - 接受过核培训的水手在完成“C”学校（核原型训练 (NPTU)）后可参加 STAR 重新入伍。此重新入伍包括晋升到下一个薪级 E-4 至 E-5。- STAR 重新入伍计划与选择性留任奖金 (SRB) 计划是分开且不同的。由于 STAR 重新入伍机会，非 STAR 参与者的 E-5 晋升率非常低。参见图 1。