XiaoMi-AI文件搜索系统
World File Search System变压器
变压器真的是机器人技术的基础吗？
重复使用 本文根据 Creative Commons 署名 (CC BY) 许可条款发布。此许可允许您发布、重新混合、调整和基于作品创作，甚至用于商业用途，只要您注明原创作者即可。更多信息和许可条款的完整内容请见：https://creativecommons.org/licenses/
使用基于变压器的解码器和验证的Vocoder
摘要。这项研究描述了在想象的语音期间来自电皮质图（ECOG）的语音合成。，尽管使用基于变压器的解码器和预验证的Vocoder，我们的目标是产生高质量的音频。具体来说，我们使用了预训练的神经声码编码器Parallel Wavegan，将Transformer Decoder转换为对Log-Mel频谱图的输出，后者是在ECOG信号上训练的，将其转换为高质量的音频信号。在我们的实验中，使用来自13名参与者的ECOG信号，想象中的语音的综合语音实现了动态时间巡航（DTW）Pearson相关性，范围从0.85到0.95。这种高质量的语音合成可以归因于变压器解码器准确地重建高保真日志频谱图的能力，这证明了其在处理有限训练数据时的有效性。
电源变压器中故障识别的机器学习
摘要：功率变压器在电能的有效和可靠分布中起关键作用。及时检测和诊断变压器中的故障对于预防昂贵的停机时间至关重要，确保安全和维持电力系统的完整性。变压器中故障识别的传统方法通常依赖于手动检查和定期测试，这可能是耗时的，劳动的，并且容易受到人为错误。机器学习（ML）技术提供了有前途的解决方案，用于自动化故障检测和功率变压器中的诊断过程。近年来，机器学习（ML）技术已成为自动化故障检测和功率变压器诊断过程的有希望的工具。mL算法可以分析从变压器传感器收集的大量数据，以识别指示各种故障的模式，包括绕组故障，绝缘降解和过热。通过利用ML，公用事业和运营商可以朝着预测和主动的维护策略迈进，最大程度地降低了灾难性失败的风险并优化资产绩效。本文对应用ML算法在功率变压器中的故障识别中的最新进步进行了全面综述。它探讨了各种ML技术，包括受监督和无监督的学习，强化学习和深度学习，突出了它们在变形金刚故障检测中的优势和局限性。本文讨论了数据可用性，模型的解释性和概括，以应对这些挑战并解锁ML在增强电力系统的可靠性和效率方面的全部潜力。
视觉变压器具有分层注意力
摘要：本文解决了香草视觉变压器中与多头自我注意（MHSA）相关的高计算/空间复杂性。为此，我们提出了层次MHSA（H-MHSA），这是一种新颖的方法，以层次的方式计算自我注意力。具体来说，我们首先将输入图像分为通常完成的补丁，每个补丁都被视为令牌。然后，提议的H-MHSA学习本地贴片中的令牌关系，作为局部关系建模。然后，将小斑块合并为较大的贴片，H-MHSA对少量合并令牌的全局依赖性建模。终于，将本地和全球专注的特征汇总为具有强大表示能力的功能。由于我们仅在每个步骤中计算有限数量的令牌的注意力，因此计算负载大大减少。因此，H-MHSA可以在不牺牲细粒度信息的情况下有效地模拟令牌之间的环境关系。与H-MHSA模块合并，我们建立了一个基于层次的变压器网络的家族，即HAT-NET。为了证明帽子网络在场景中的优越性，我们就基本视觉任务进行了广泛的实验，包括图像分类，语义分割，对象titection和实例分段。因此，HAT-NET为视觉变压器提供了新的视角。代码和预估计的模型可在https://github.com/yun-liu/hat-net上找到。
Swift：Swin 4D FMRI变压器
从高维数据（例如功能磁共振成像（fMRI））中对时空脑动力学进行建模是神经科学中的一项艰巨任务。现有的fMRI分析方法采用了手工制作的功能，但是功能提取风险在fMRI扫描中失去基本信息的过程。为了应对这一挑战，我们提出了Swift（Swi N 4d F Mri T Ransformer），这是一种Swin Transformer架构，可以直接从fMRI卷中以记忆和计算有效的方式学习大脑动力学。Swift通过实施4D窗口多头自我发项机制和绝对位置嵌入来实现这一目标。我们使用多个大型静止状态FMRI数据集评估SWIFT，包括人类连接群落项目（HCP），青少年脑认知发展（ABCD）和UK Biobank（UKB）数据集，以预测性别，年龄和认知智能。我们的实验结果表明，Swift的表现优于最新的最新模型。此外，通过利用其端到端的学习能力，我们表明，基于对比的基于损失的自我监管的SWIFT预训练可以提高下游任务的性能。补充 - 我们采用可解释的AI方法来识别与性别分类相关的大脑区域。据我们所知，Swift是第一个以端到端方式处理维数时空脑功能数据的Swin Transformer架构。我们的工作在神经科学研究中促进功能性脑成像的可扩展学习方面具有巨大的潜力，通过减少与将变压器模型应用于高维fMRI相关的障碍。项目页面：https：//github.com/transconnectome/swift
利用变压器用于心电图心律失常...
摘要 - 心律不齐，也称为心律失常，是指不规则的心跳。有多种类型的心律失常可以源自心脏的不同区域，导致快速，缓慢或不规则的心跳。心电图（ECG）是用于检测心脏不规则和异常的重要诊断工具，使专家可以分析心脏的电信号，以识别复杂的模式和偏离标准的偏差。在过去的几十年中，已经进行了许多研究，以开发基于ECG数据对心跳进行分类的自动化方法。近年来，深度学习在应对各种医学挑战方面表现出了出色的功能，尤其是在变形金刚作为序列处理的模型架构中。通过利用变压器，我们开发了心电图数据中存在的各种心律不齐的分类的束缚模型。我们使用MIT-BIH和PTB数据集评估了建议的方法。ECG心跳心律失常分类结果表明，所提出的方法非常有效。ECG心跳心律失常分类结果表明，所提出的方法非常有效。
使用基于视觉变压器的心脏病检测...
摘要 - 心脏病，也称为心血管疾病，是一种普遍且危急的病情，其特征是心脏和血管受损，导致各种并发症，例如冠状动脉疾病，心力衰竭，心脏衰竭和心肌梗塞。对心脏病的及时和准确检测在临床实践中至关重要。对处于危险中的个体的早期识别可以主动采取干预措施，预防措施和个性化治疗策略，以减轻疾病的发展并减少不良后果。近年来，由于复杂的技术和计算方法的整合，心脏病检测领域已经见证了显着的进步。这些包括机器学习算法，数据挖掘技术和预测建模框架，这些框架利用大量的临床和生理数据来提高诊断准确性和风险分层。在这项工作中，我们建议使用剪切技术（即视觉变压器模型）从心电图图像中检测心脏病。这些模型是Google-Vit，Microsoft-beit和Swin-tiny。据我们所知，这是通过基于图像的ECG数据来检测心脏病的最初努力，即采用切割技术，即变压器模型。 为了证明所提出的框架的贡献，将视觉变压器模型的性能与状态研究进行了比较。 实验结果表明，所提出的框架表现出显着的分类结果。据我们所知，这是通过基于图像的ECG数据来检测心脏病的最初努力，即采用切割技术，即变压器模型。为了证明所提出的框架的贡献，将视觉变压器模型的性能与状态研究进行了比较。实验结果表明，所提出的框架表现出显着的分类结果。
通过增强学习加速视力变压器
摘要近年来，变形金刚领导了自然语言处理的一场革命，而视觉变形者（VIT）承诺在计算机视觉中也这样做。广泛使用VIT的主要障碍是它们的计算成本。的确，给定图像分为一个贴片列表，vits计算每一层，每个贴片相对于所有其他贴片的注意力。在文献中，许多解决方案试图使用量化，知识蒸馏和输入扰动来降低注意力层的计算成本。在本文中，我们的目标是在这种情况下做出贡献。特别是，我们提出了一个使用加强学习来培训代理的框架，该框架是在培训VIT期间确定最不重要的补丁的代理商。一旦确定了此类斑块，AgentVit就将其删除，从而减少了VIT处理的斑块数量。我们的目标是减少VIT的训练时间，同时保持竞争性能。
使用循环变压器的图形算法
由于有希望的经验进步，使用神经网络的图算法最近引起了极大的兴趣。这激发了对神经网络如何通过关系数据复制推理步骤的进一步理解。在这项工作中，我们研究了变压器网络从理论角度模拟算法的能力。我们使用的体系结构是一个循环变压器，其额外的注意力头与图形相互作用。我们通过构造证明，该架构可以模拟单个算法，例如Dijkstra的最短路径，广度和深度搜索，以及Kosaraju的强烈连接组件以及同时的多种算法。网络中的参数数不会随输入图大小而增加，这意味着网络可以模拟任何图的上述算法。尽管有有限的精确度，但我们在解决方案中的模拟显示了一个限制。最后，当利用额外的注意力头时，我们显示出具有恒定宽度的图灵完整性结果。