XiaoMi-AI文件搜索系统
World File Search System修剪
量子擦除通道上颜色代码的修剪解码
纠错是构建量子计算机的关键步骤。量子系统会因退相干和噪声而产生误差。通过使用量子纠错，可以防止量子计算设备中的量子信息被破坏。人们为开发和研究量子纠错码做出了许多努力和改进。其中，拓扑码（如表面码 [1], [2]）因其高阈值和局部性 [3] 而有望用于构建实用的量子计算机。色码 [4] 是另一种有前途的用于容错量子计算的拓扑量子纠错码。它们提供的阈值相对较好，略低于表面码 [5], [6], [7]。然而，与表面码不同，横向 Clifford 运算可以充当逻辑 Clifford 运算 [8]。量子擦除通道 [9], [10] 是简单的噪声模型，其中一些量子位被擦除，并且我们已知哪些量子位被擦除。当一个量子比特被擦除时，该量子比特被认为会受到随机选择的泡利误差的影响。了解哪些量子比特被擦除可能会使开发解码算法变得不那么复杂。最近，有人提出了在量子擦除信道上以线性时间对表面码进行最大似然 (ML) 解码 [11]，它被用作表面码和色码的近线性时间解码算法的子程序 [6]，通过将它们投影到表面码 [12]、[7] 上来纠正泡利误差和擦除。在本文中，我们证明了当一组被擦除的量子比特满足某个可修剪性条件时，在量子擦除信道上对色码进行线性时间 ML 解码是可能的，并提出了一种解码算法，我们称之为修剪解码。我们还提供了当不遵守可修剪性约束时如何使用修剪解码的方法。
最佳大脑压缩：准确的训练后量化和修剪框架
我们考虑深度神经网络 (DNN) 在具有挑战性的一次性/后训练环境中的模型压缩问题，在该环境中，我们获得了一个经过精确训练的模型，并且必须仅基于少量校准输入数据对其进行压缩，而无需进行任何重新训练。鉴于新兴的软件和硬件支持通过加速剪枝和/或量化来执行压缩模型，这个问题变得很普遍，并且已经针对这两种压缩方法分别提出了性能良好的解决方案。在本文中，我们介绍了一种新的压缩框架，该框架在统一的环境中涵盖权重剪枝和量化，具有时间和空间效率，并且大大提高了现有后训练方法的实际性能。在技术层面，我们的方法基于 [LeCun、Denker 和 Solla，1990] 的经典最佳脑外科医生 (OBS) 框架的精确和高效实现，该框架扩展到还涵盖现代 DNN 规模的权重量化。从实际角度来看，我们的实验结果表明，它可以显著改善现有后训练方法的压缩-准确度权衡，并且可以在后训练环境中实现修剪和量化的准确复合应用。
使用格子修剪，正向上下文适应和矢量化
摘要 - 依赖性量化（DQ）是多功能视频编码（VVC）标准中的关键编码工具之一。dq采用两个标量量化器，每个标量量化器的选择受奇偶元驱动的四州状态机的控制。由于设计是规范上执行的，因此DQ的使用需要汇率优化的量化（RDOQ），并具有每个系数决策和状态更新，例如基于网格的量化，最初针对VVC参考软件（VTM）提出。由于其固有的依赖性（包括基于先前编码的系数值的VVCS上下文选择）以及相当广泛的搜索范围，因此Trellis量化在计算上是高度复杂的。降低该算法的复杂性对于实用的VVC编码器至关重要。在本文中，我们提出了一个快速依赖的量化格子搜索，通过以下方式改进了初始设计：不可能的分支的格子修剪，正向自适应上下文传播，最后是矢量化的实现。在开放和优化的VVEND编码器中提出的建议方法将量化运行时减少了37％，允许在中等预设中总体15％的编码器加速，而在全intra编码条件下对压缩性能没有影响。在随机访问条件下，实现了9％的整体编码器加速。索引项 - VVC，VVEN，量化，格子，矢量。
大脑基础•战斗，飞行，冻结，小鹿反应•修剪
•安抚威胁•开玩笑以实现积极的社会反应•迅速遵循指示•幽默是一种辩护•有时被视为“人们取悦”•通过笑话寻求联系，玩笑，玩笑•让很多人感觉更好•将他人的需求放在我们自己的
在视觉状态空间模型中探索令牌修剪
状态空间模型（SSM）具有与变压器的注意模块相比保持线性计算复杂性的优势，并且已将视觉任务应用于视觉任务作为一种新型强大的视觉基础模型。受到观察的启发，即视觉变压器（VIT）的最终预测仅基于最有用的代币的子集，我们采取了新的步骤，即通过基于令牌的修剪来提高基于SSM的视力模型的效率。但是，即使经过广泛的微调，为VIT设计的现有代币修剪技术的直接应用也无法提供良好的性能。为了解决此问题，我们重新审视了SSM的独特计算特征，并发现Naive Application破坏了顺序令牌位置。这种洞察力促使我们设计了一种专门针对基于SSM的视力模型的新颖和通用的代币修剪方法。我们首先引入一种修剪感知的隐藏状态对准方法，以稳定剩余令牌以增强性能的邻里。此外，根据我们的详细分析，我们提出了一种适用于SSM模型的令牌重要性评估方法，以指导令牌修剪。采用有效的实施和实际加速方法，我们的方法带来了实际的加速。广泛的实验表明，我们的方法可以实现大量的计算减少，而对不同任务的性能的影响最小。值得注意的是，我们在成像网上获得了81.7％的精度，而修剪的plainmamba-l3的拖鞋降低了41.6％。此外，我们的工作为了解基于SSM的视力模型的行为提供了更深入的见解。
Adapt-Prouner：适应性的结构修剪，用于有效的小语言模型培训
小语言模型（SLM）由于在边缘设备中的广泛应用而引起了学术界和行业的极大关注。为了获得具有强大性能的SLM，传统方法要么从头开始预训练模型，这会产生大量的计算成本，或者压缩/修剪现有的大语言模型（LLMS），这会导致性能下降，并且与预训练相比差不多。在本文中，我们研究了涉及结构化修剪和模型训练的加速方法家族。我们发现1）层面的适应性修剪（适应性培训）在LLM中非常有效，并且对现有的修剪技术的改善具有显着改善，2）适应性修剪，配备了进一步的训练导致模型，可与模型相当，与那些从抓挠中进行预训练的模型相当，3）逐步训练，仅通过促进培训，而仅通过互动而进行较小的培训（仅在较小的培训中），并且仅通过互动而进行互动（仅在较小的情况下），并且促进了较小的培训。一次5％）。对Llama-3.1-8b的实验结果表明，适应性抗性的表现要优于常规修剪方法，例如LLM-PRUNER，FLAP和SLICEGPT，平均在平均基准的准确度中以1％-7％的速度为1％-7％。此外，改编普朗纳（Adapt-Pruner）在MMLU基准测试上恢复了Mobilellm-125m的性能，并通过从其较大的对应物中修剪来降低代币，并发现了超过多个基准标记Llama-3.2-1B的新型1B模型。
改进了可观察到的马尔可夫决策过程的矢量修剪
2.1矢量修剪。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。6 2.1.1矢量优势。。。。。。。。。。。。。。。。。。。。。。。。。。7 2.1.2修剪算法。。。。。。。。。。。。。。。。。。。。。。。。。15 2.2复杂性。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。18 2.2.1线性编程的复杂性。。。。。。。。。。。。。。。。18 2.2.2简单矢量修剪算法的复杂性。。。。。。。。。19 2.2.3与凸赫尔问题的关系。。。。。。。。。。。。。。20 2.2.4平均案例复杂性。。。。。。。。。。。。。。。。。。。。。。21 2.3 POMDP的动态编程算法中的向量修剪。。。22 2.3.1 AI计划的POMDP的精确解决方案。。。。。。。。。。。。22 2.3.2增量修剪。。。。。。。。。。。。。。。。。。。。。。。。。24 2.4有界错误近似。。。。。。。。。。。。。。。。。。。。。。。25 2.4.1近似误差。。。。。。。。。。。。。。。。。。。。。。。。26 26 2.4.2近似矢量修剪。。。。。。。。。。。。。。。。27 2.4.3近似动态编程更新。。。。。。。。。。。。28
修剪翻译咨询委员会（TAC）会议笔记2024年2月20日
讨论1。CCD项目更新 - Greg Pietsch总结了该项目，该项目获得了Neuronascent Inc.的10,000美元赠款。这项研究的目的是评估阿拉斯加内部狗中CCD的普遍性。Trim今天晚上在派克的登陆处赞助了一项活动，以提高对当地兽医中CCD项目的认识，并引入诊断技术，例如测试CCD行为症状的CADES问卷。我们有10位当地兽医及其员工签约参加。Trim的目标是建立一个当地兽医的网络，这些网络将CADES问卷作为评估的一部分，并可以为这项研究提供合格的犬类患者。我们想招募有兴趣追踪中型狗的兽医，在8至11年之间，这表明CCD的症状（焦虑，功能丧失，厌食，厌食，脏，脏，重复行为等。），类似于阿尔茨海默氏病。CCD是一种神经退行性疾病，估计会影响30％的老狗。我们的目标是使用MRI扫描两只狗，该MRI根据CADES问卷的结果来确定温和至中度，以建立基线。MRI将在三年研究期间跟踪海马体积的变化，并鉴定出CCD血液生物标志物的血液作业结果。所有者不必为研究的一部分支付身体检查或测试费用，因为赠款资金将涵盖。所有者将接受使用厌食测试的培训，以评估项目期间狗气味能力的变化。这些新闻项目发布在Trim的网站上。格雷格还引用了有关CCD项目的最新新闻发布。它们包括出现在UAF新闻和信息中的新闻稿，KUAC无线电采访以及第三次面试计划为KTVF新闻进行。Promislow博士向TAC更新了有关狗老化项目的信息，以及他最近的职业生涯。他在塔夫茨大学的让·梅耶USDA人类营养研究中心担任高级科学家的新职位。UW的狗老化项目正处于NIH资助的最后一年。他们的最后一次NIH U19提交没有资助，该计划是在2024年5月重新提交。将有一个10个小时的时期，狗老化项目将没有NIH资金。为了保持该计划的活力，Promislow博士和其他研究人员创建了非营利性狗老龄化研究所，如果成功的话，该研究所将通过较小的赠款，私人捐助者和公司赞助，以支持狗的老化项目和相关的犬科研究，以使该项目保持直到NIH U19赠款的资金。Promislow博士指出，一些研究人员可能是阿拉斯加CCD项目的良好联系。Stephanie McGrath和她的帖子Doc都参与了科罗拉多大学的犬类研究，并具有使用MRI成像的经验。此外，威斯康星大学还有一位兽医眼科医生，他对眼睛的神经变性感兴趣，可能是一个很好的资源。2。使用犬类模型及其与Trim的翻译重点相吻合 - 凯利描述了鞋底赠款的目的是建立生物医学研究的基础设施，并自从柯布雷（Cobre）开始以来就汇总了Trim的发展。阿拉斯加和怀俄明州在NIH资金方面比美国的任何其他州
边缘 AI 中分割计算的激活稀疏性和动态修剪
深度神经网络越来越大，因此更难在受限的物联网设备上部署。拆分计算提供了一种解决方案，即拆分网络并将前几层放置在物联网设备上。这些层的输出被传输到云端，然后继续进行推理。早期的研究表明中间激活输出具有一定程度的高稀疏性，本文分析并利用激活稀疏性来减少将中间数据传输到云端时的网络通信开销。具体来说，我们分析了 CIFAR-10 和 ImageNet 上 ResNet-50 中两个早期层的中间激活，重点关注稀疏性以指导选择分割点的过程。我们对激活和特征图进行了动态修剪，发现稀疏性非常依赖于层的大小，权重与卷积层中的激活稀疏性无关。此外，我们表明，稀疏中间输出可以压缩 3.3 倍，准确度损失 1.1%，无需任何微调。当添加微调时，压缩系数增加到 14 倍，总体准确度损失为 1%。
组合脑外科医生：修剪神经网络中相互抵消的权重
如果神经网络规模较大，则往往在训练时获得更高的准确度，即使生成的模型参数过多。但是，在训练之前、之中或之后小心地删除过多的参数，也可能产生准确度相似甚至更高的模型。在许多情况下，这可以通过简单的启发式方法实现，例如删除一定比例的绝对值最小的权重，即使绝对值并不是权重相关性的完美指标。前提是，获得明显更佳的剪枝性能取决于考虑删除多个权重的综合影响，因此，我们重新审视基于影响的剪枝的经典方法之一：最佳脑外科医生 (OBS)。我们提出了一种易于处理的启发式方法来解决 OBS 的组合扩展，其中我们选择要同时删除的权重，并将其与未剪枝权重的单次系统更新相结合。我们的选择方法在高稀疏性方面优于其他方法，如果在这些方法之后应用单次权重更新，也会很有优势。源代码：github.com/yuxwind/CBS。