XiaoMi-AI文件搜索系统
World File Search System稀疏
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
有效的蛋白质结构生成稀疏的脱氧模型
生成可设计的蛋白质骨架已成为机器学习辅助方法的组成部分。与序列设计和结构预测器的过滤一起，它形成了计算蛋白设计管道的骨干。然而，当前的蛋白质结构发生器面临着大蛋白的重要局限性，需要在模型训练期间看不见的蛋白质设计任务进行再培训。为了解决第一个问题，我们介绍了Salad，这是一个蛋白质骨架产生的S-Al l- A tom a tom denoising模型。我们的模型在匹配或提高可设计性和多样性的同时，我们的模型要比最先进的速度要快，并为高达1,000个氨基酸的蛋白质长度生成可设计的结构。为了解决第二个问题，我们将沙拉与结构编辑相结合，这是扩展蛋白质denoising模型无法看见任务的能力的策略。我们将方法应用于各种蛋白质设计任务，从基序旧到多态蛋白质设计，证明了沙拉和结构编辑的功能。
通过最优稀疏决策树预测医学实验室测试的紧急程度：超声心动图案例研究
背景：在当代医疗保健领域，实验室测试是推动精准医疗进步的基石。这些测试提供了对各种医疗状况的深入见解，从而促进了诊断、预后和治疗。然而，某些测试的可及性受到诸如高成本、专业人员短缺或地理差异等因素的阻碍，这对实现公平的医疗保健构成了障碍。例如，超声心动图是一种极其重要且不易获得的实验室测试。对超声心动图的需求不断增加，凸显了更高效的调度协议的必要性。尽管有这种迫切的需求，但在这一领域的研究却有限。目标：本研究旨在开发一种可解释的机器学习模型，以确定需要超声心动图检查的患者的紧急程度，从而帮助确定调度程序的优先级。此外，本研究旨在利用机器学习模型的高可解释性，深入了解影响超声心动图预约优先级的关键属性。方法：基于来自电子健康记录的大量现实世界超声心动图预约数据集（即 34,293 个预约），进行了实证和预测分析以评估患者的紧急程度，该数据集包含管理信息、转诊诊断和潜在患者状况。我们使用了一种最先进的可解释机器学习算法，即最佳稀疏决策树 (OSDT)，该算法以高准确性和可解释性而闻名，来研究与超声心动图预约相关的属性。结果：与表现最佳的基线模型相比，该方法表现出令人满意的性能（F 1 -score=36.18%，提高了 1.7% 和 F 2 -score=28.18%，比表现最佳的基线模型提高了 0.79%）。此外，由于其高度可解释性，结果为通过从 OSDT 模型中提取决策规则来识别紧急患者进行测试提供了宝贵的医学见解。结论：该方法表现出了最先进的预测性能，证实了其有效性。此外，我们通过将 OSDT 模型得出的决策规则与既定的医学知识进行比较来验证这些决策规则。这些可解释的结果（例如 OSDT 模型中的属性重要性和决策规则）强调了我们的方法在优先考虑患者紧急程度的超声心动图预约方面的潜力，并且可以扩展到使用电子健康记录数据优先考虑其他实验室测试预约。
属性增强的相似性排名稀疏链接预测
链接预测是图数据中的一个基本问题。在其最现实的环境中，问题包括预测一组断开对的节点对之间的丢失或将来的联系。图形神经网络（GNN）已成为链接预测的主要框架。基于GNN的方法将链接预测视为二进制分类问题，并处理极端类不平衡 - 真实图非常稀疏 - 通过对（随机均匀）进行抽样（随机均匀），不仅是用于培训，而且用于评估的脱节对。但是，我们表明，在平衡设置中链接预测的GNN的报告并不能转化为更现实的不平衡设置，并且在han-dling稀疏性方面，基于更简单的基于拓扑的方法通常会更好。这些发现激发了基于相似性的链接预测方法，该方法采用（1）基于节点属性的图形学习来增强拓扑启发式启发式，（2）解决类不平衡的排名损失，以及（3）负面采样方案，通过图分划分有效地选择硬训练对。实验表明，冰淇淋的表现优于现有的基于GNN的替代方案。
梯度的真正稀疏和通用实现......
摘要 — 从梯度下降中得出的在线突触可塑性规则在广泛的实际任务中实现了高精度。然而，它们的软件实现通常需要繁琐的手工梯度或使用梯度反向传播，这牺牲了规则的在线能力。在这项工作中，我们提出了一种自定义自动微分 (AD) 管道，用于稀疏和在线实现基于梯度的突触可塑性规则，该管道可推广到任意神经元模型。我们的工作结合了前向 AD 的反向传播类型方法的编程简易性，同时节省了内存。为了实现这一点，我们利用在线突触可塑性的优势计算和内存扩展，提供一种固有稀疏的 AD 实现，其中如果张量是对角的，则昂贵的张量收缩被简单的元素乘法取代。基于梯度的突触可塑性规则（如资格传播 (e-prop)）恰好具有这种特性，因此从这一特性中获益匪浅。我们在合成任务中展示了梯度反向传播与梯度对齐，其中 e-prop 梯度是精确的，以及音频语音分类基准。我们展示了内存利用率如何随网络规模而变化，而不依赖于序列长度，这与前向 AD 方法的预期一致。索引术语 — 算法、神经形态计算、资格传播、自动微分
Andrew V. Sutherland稀疏的自动编码器用于增强学习模型中的可解释性
最近的工作表明，稀疏的自动编码器（SAE）能够有效地发现语言模型中的人解释功能，从玩具模型到最先进的大语言模型等等。这项工作探讨了SAE的使用是否可以推广到机器学习的其他品种，特定的，加固学习，以及如何（如果有的话）将SAES适应这一实质上不同的任务所需的修改。本研究使用玩具加强学习环境来进行经验实验，研究了SAE代表强化学习模型作为可解释特征的能力的定性和定量度量。发现SAE成功地将深Q网络的内部激活分解为可解释的特征，此外，这些人解释的某些特征代表了对仅凭深度Q网络单独输出而无法发现的基本任务的内部理解。
Spike-dransventermer的有效稀疏硬件加速器
摘要 - 诸如Vision Transformer和Bert之类的大型模型，由于其表现性能而引起了极大的关注。但是，它们广泛的计算要求导致了大量的功率和硬件资源消耗。脑启发的计算已成为低功率硬件实现的一种有希望的方法。在本文中，我们提出了用于尖峰驱动变压器的有效稀疏硬件加速器。我们首先设计了一种新颖的编码方法，该方法编码有效激活的位置信息并跳过非尖峰值。此方法使我们能够使用编码的尖峰来执行线性，最大化和尖峰驱动的自我注意力的计算。与主要关注基于卷积的尖峰计算的常规SNN加速器的单个尖峰输入设计相比，用于尖峰驱动的自我注意的专门模块在处理双尖峰输入的能力方面是独一无二的。通过专门利用激活的尖峰，我们的设计充分利用了尖峰驱动的变压器的稀疏性，从而减少了冗余操作，降低了功率组合并最大程度地减少了计算潜伏期。实验结果表明，与现有的SNNS加速器相比，我们的设计分别在吞吐量和能源效率方面可提高13.24×和1.33倍。索引术语 - 弹性神经元网络（SNNS），硬件加速器，Spike-drive Transformer。
Gian课程2025稀疏图：树宽，平面，...
结构该课程应在完全离线模式下进行，讲座24小时和24小时的教程。更多详细信息可以在网站上找到：https：//sites.google.com/view/giansparsegraph/home重要日期的最后日期注册的最后日期：2025年1月31日（优先级给予较早注册的人）接受： （星期日）2025）参与▪主要目标参与者是博士学位。来自数学或计算机科学的学生或研究兴趣的相关部门在于图理论和图形算法。本课程可能会导致研究项目和合作。▪高级大师（M.Sc./m.tech。或同等的）学生也鼓励具有特殊兴趣和背景的学生和算法参与。▪来自知名的学术机构和技术机构的感兴趣的教职员工也被视为潜在参与者。
发现稀疏，可靠的Omic生物标志物具有Stabl
在临床研究中采用高含量的OMIC技术，再加上计算方法，产生了大量的候选生物标志物。但是，将这种发现转化为真正的临床生物标志物仍然具有挑战性。为了促进此过程，我们引入了Stabl，这是一种通用的机器学习方法，该方法通过将噪声注入和数据驱动的信号对噪声阈值集成到多变量的预测建模中来识别稀疏，可靠的生物标志物。对合成数据集的STABL评估和五项独立的临床研究表明，与常用的稀疏性促进正则化方法相比，生物标志物的稀疏性和可靠性得到了改善，同时保持预测性能；它将包含1,400-35,000个功能的数据集蒸馏到4-34个候选生物标志物。stabl扩展到多摩尼克的整合任务，从而实现了复杂预测模型的生物学解释，因为它可以在蛋白质组织，代谢组和细胞计算事件的入围名单中进行磨练，从而预测了劳动力发作，术前出生的微生物生物标记物，并在术后术后的免疫特征。Stabl可从https://github.com/gregbellan/stabl获得。
深度基于模型的强化学习，用于对机器人系统的预测控制，并具有稀疏奖励
抽象的稀疏奖励和样本效率是增强学习领域的开放研究领域。在考虑对机器人技术和其他网络物理系统的增强学习应用时，这些问题尤其重要。之所以如此，是因为在这些领域中，许多任务都是基于目标的，并且自然而然地表达了二进制成功和失败，动作空间较大且连续，并且与环境的实际相互作用受到限制。在这项工作中，我们提出了深层的价值和预测模型控制（DVPMC），这是一种基于模型的预测增强学习算法，用于连续控制，该算法使用系统识别，值函数近似和基于采样的优化对选择动作。该算法是根据密集的奖励和稀疏奖励任务进行评估的。我们表明，它可以使预测控制方法的性能与密集的奖励问题相匹配，并且在样本效率和性能的指标上，在稀疏奖励任务上优于模型和基于模型的学习算法。我们验证了使用DVPMC训练在仿真的机器人上培训的代理商的性能。可以在此处找到实验的视频：https：//youtu.be/ 0q274kcfn4c。