XiaoMi-AI文件搜索系统
World File Search SystemTransformers
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
使用多模态信号通过预训练 Transformer 进行情绪识别
我们使用 Transformer [10] 来处理生理信号。Transformer 最初是为自然语言处理 (NLP) 任务开发的，目的是处理单词序列。鉴于生理信号是值序列，Transformer 可以适用于生理信号处理 [11]。Transformer 采用学习到的注意机制，根据上下文动态评分输入不同部分的相关性。基于注意的处理适合处理生理信号，因为根据任务和上下文，信号的某些部分可能比其他部分传达更多信息。使用 Transformer 的另一个好处是，我们可以从 BERT [12] 中描述的非常成功的预训练技术中受益，该技术是为 NLP 任务开发的，我们可以根据需要进行调整。这种预训练策略已成功应用于其他领域，如计算机视觉 [13]、语音处理 [14] 和情感计算 [15]。
chembertaddi：与变压器和临床见解的变形药物相互作用预测
摘要 - 当两种或多种混合使用的药物会引起不良副作用时，即使使用药物单独使用不会造成伤害时，多药的问题也会引起不利的副作用。药物相互作用（DDIS）是这些反应的主要原因，导致发病率和死亡率增加。由于有害DDI的潜力呈指数增长，因此药物相互作用的预测对于患者的安全和有效的医疗保健管理越来越重要。在本文中，我们开发了Chembertaddi框架，该框架有效地结合了临床域数据，以单副作用特征表示，其富集化学分子表示，该化学分子表示源自Chemberta-77m-MLM，这是一个基于变压器的LAN- lan- gage模型。与五种最先进的方法相比，在基准数据集上进行的实验表现出色：decagon，deepwalk，dedicom，nnps和recrecal。评估表明，Chembertaddi的F1得分为0.94，AUROC为0.97，表现优于基线体系结构，并推广到新的引入的药物化合物。索引术语 - 转化，自然语言处理，分子表示学习，药物 - 药物相互作用，多药，Chemberta，神经网络，深度学习，注意机制，生物信息学
smitin：生成音乐变压器的自我监测的推理时间干预 /作者= koo，junghyun;威奇，戈登； Germain，FrançoisG； Khurana，Sameer； Le Roux，Jonathan /CreationDate = 2025年1月23日 /受试者=人工智能，机器学习，语音< /div < /div>
摘要我们介绍了自我监控的推理时间干预（SMITIN），这是一种使用分类探针来控制自回归的生成音乐变压器的方法。这些简单的逻辑回归探针通过使用表现出特定的音乐性状（例如，鼓声/不存在鼓或真实/合成音乐）的小型音频示例对变压器中每个注意力头的输出进行了训练。然后，我们将注意力头转向探针方向，以确保生成模型输出捕获所需的MUSICAL性状。此外，我们监视探针输出，以避免在自回归产生中添加过量的干预措施，这可能会导致时间上不一致的音乐。我们在音频延续和文本到音乐应用程序中客观和主观验证结果，证明了将控件添加到大多数音乐家的重新培训甚至灌感都是不切实际的大型生成模式中的能力。建议的干预方法的音频样本可在我们的演示页面上
DC变压器用于直流分布和传输
Yingzong Jiao获得博士学位。中国Zhejiang大学（ZJU）的电气工程学士学位，目前是Harbin Technology（HIT）的电气工程与自动化学院的助理教授。 他是与DC可再生收藏和DC/DC电源转换有关的5个研究项目的PI。 他在电力电子和电力系统领域发表了10多篇期刊论文，这些论文与可再生能源集成在一起。 在PEDG2023和EPE2023的会议上，他获得了HVDC 2020会议上的最佳纸张奖。 Ning Wang（IEEE学生会成员）获得了学士学位 硕士学位，中国达利安海洋大学的学位，硕士学位 毕业于中国哈尔滨理工学院（HIT），2023年。 他目前正在攻读博士学位。电力电子学位。 他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。Yingzong Jiao获得博士学位。中国Zhejiang大学（ZJU）的电气工程学士学位，目前是Harbin Technology（HIT）的电气工程与自动化学院的助理教授。他是与DC可再生收藏和DC/DC电源转换有关的5个研究项目的PI。他在电力电子和电力系统领域发表了10多篇期刊论文，这些论文与可再生能源集成在一起。在PEDG2023和EPE2023的会议上，他获得了HVDC 2020会议上的最佳纸张奖。Ning Wang（IEEE学生会成员）获得了学士学位 硕士学位，中国达利安海洋大学的学位，硕士学位 毕业于中国哈尔滨理工学院（HIT），2023年。 他目前正在攻读博士学位。电力电子学位。 他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。Ning Wang（IEEE学生会成员）获得了学士学位硕士学位，中国达利安海洋大学的学位，硕士学位毕业于中国哈尔滨理工学院（HIT），2023年。他目前正在攻读博士学位。电力电子学位。他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。
变形金刚：纯粹基于注意力的网络学习
自我注意事项是指神经网络自行找出序列的哪些部分，例如单词句子或图像中的一系列斑点，共同有助于解决手头的问题。例如，对于语言翻译，自我注意力的目标是找出源语言中哪些单词在一起有助于目标语言中任何单个单词的产生。另一方面，在图像识别中，自我注意力将有助于网络弄清楚哪些补丁程序共同做出了最大的贡献，可以正确预测类标签。
电源变压器中故障识别的机器学习
摘要：功率变压器在电能的有效和可靠分布中起关键作用。及时检测和诊断变压器中的故障对于预防昂贵的停机时间至关重要，确保安全和维持电力系统的完整性。变压器中故障识别的传统方法通常依赖于手动检查和定期测试，这可能是耗时的，劳动的，并且容易受到人为错误。机器学习（ML）技术提供了有前途的解决方案，用于自动化故障检测和功率变压器中的诊断过程。近年来，机器学习（ML）技术已成为自动化故障检测和功率变压器诊断过程的有希望的工具。mL算法可以分析从变压器传感器收集的大量数据，以识别指示各种故障的模式，包括绕组故障，绝缘降解和过热。通过利用ML，公用事业和运营商可以朝着预测和主动的维护策略迈进，最大程度地降低了灾难性失败的风险并优化资产绩效。本文对应用ML算法在功率变压器中的故障识别中的最新进步进行了全面综述。它探讨了各种ML技术，包括受监督和无监督的学习，强化学习和深度学习，突出了它们在变形金刚故障检测中的优势和局限性。本文讨论了数据可用性，模型的解释性和概括，以应对这些挑战并解锁ML在增强电力系统的可靠性和效率方面的全部潜力。
使用视频视觉变压器对周围车辆的巷道更改预测
摘要：预期周围车辆的车道变化对于自动驾驶汽车的安全和ffi cient运行至关重要。以前的作品采用了不包含上下文信息的物理变量的用法。最近的方法依赖于行动识别模型，例如3D CNN和RNN，从而处理了复杂的体系结构。尽管变形金刚的出现成为行动识别，但采用变压器体系结构的作品有限。自主驾驶依赖于许多外部因素，包括驾驶员行为，天气状况，意外障碍和遵守Tra FFI C规则。但是，关键组件是能够准确预测自动驾驶汽车之前的车辆是否可能改变车道的能力。这项研究通过采用视频动作预测来应对自动驾驶汽车中车道变化预测（LCP）的关键挑战，并特别着重于整合视频视觉变形金刚（Vivit）。使用摄像头输入得出的小管嵌入，此方法利用了预防数据集，该数据集提供了对车辆轨迹和关键事件的详细注释。该方法超过了先前的模型，在通过1秒地平线预测车道变化方面达到了超过85％的测试精度。比较分析重点介绍了Vivit在视频数据中捕获时空依赖性方面的优越性，同时也需要更少的参数，从而提高了计算EFFI的效率。这项研究有助于通过展示Vivit在现实世界应用中的E FFI CACY并提倡进一步探索以提高车辆安全性和E FFI效率的进一步探索，从而有助于提高自主驾驶技术。
鸟类眼睛视图语义分割
对环绕声的语义的空间理解是自动驾驶汽车需要安全驾驶决策所需的关键能力。最近，纯粹基于视觉的解决方案已增强了研究的兴趣。在特定的方法中，从多个摄像机中提取鸟类视图（BEV）的方法表现出了很好的空间理解性能。本文介绍了学习的位置编码的依赖性，以将基于变压器的甲基化的图像和BEV特征映射元素关联。我们提出利用外两极的几何约束，以模拟相机注意场与BEV之间的关系。它们被纳入注意机制中，作为一种新的归因术语，是学习位置编码的替代方案。实验表明，与隐式学习摄像机配置相比，我们的方法的大鹰队以2％MIOU的方式优于2％MIOU的BEV方法，并且具有出色的概括能力。