XiaoMi-AI文件搜索系统
World File Search SystemTransformer
EmT：一种用于跨受试者广义脑电图情绪识别的新型 Transformer
摘要 — 将神经生理学的先验知识整合到神经网络架构中可提高情绪解码的性能。虽然许多技术都强调学习空间和短期时间模式，但对捕捉与情绪认知过程相关的重要长期背景信息的重视程度有限。为了解决这一差异，我们引入了一种称为情绪变换器 (EmT) 的新型变换器模型。EmT 旨在在广义跨受试者脑电图情绪分类和回归任务中表现出色。在 EmT 中，脑电图信号被转换成时间图格式，使用时间图构造模块 (TGC) 创建一系列脑电图特征图。然后提出了一种新颖的残差多视图金字塔 GCN 模块 (RMPG) 来学习该系列中每个脑电图特征图的动态图表示，并将每个图的学习到的表示融合成一个标记。此外，我们设计了一个时间上下文变换器模块 (TCT)，它有两种类型的标记混合器来学习时间上下文信息。最后，任务特定的输出模块 (TSO) 生成所需的输出。在四个公开数据集上的实验表明，EmT 在 EEG 情绪分类和回归任务中都取得了比基线方法更高的结果。代码可在 https://github.com/yi-ding-cs/EmT 上找到
使用 Transformer 预测人类大脑状态
摘要：人脑是一个复杂且高度动态的系统，目前我们对其功能机制的了解仍然非常有限。幸运的是，利用功能性磁共振成像（fMRI），我们可以观察到血氧水平依赖性（BOLD）变化，反映神经活动，从而推断大脑状态和动态。在本文中，我们提出了一个问题：区域大脑 fMRI 所代表的大脑状态是否可以预测。由于自注意力和 Transformer 架构在顺序自回归问题（例如语言建模或音乐生成）中的成功，我们探索了使用 Transformer 基于来自人类连接组项目（HCP）的大规模高质量 fMRI 数据预测人脑静息状态的可能性。目前的结果表明，我们的模型可以准确地预测长达 5.04 秒的大脑状态，而之前的预测为 21.6 秒。此外，即使预测误差在更长时间段内累积，生成的 fMRI 大脑状态仍反映了功能性连接组的结构。这些有希望的初步结果表明，使用自注意力机制开发 fMRI 数据生成模型的可能性，该模型可以学习人类大脑的功能组织。我们的代码可在以下网址获取：https://github.com/syf0122/brain_state_pred
使用循环变压器的图形算法
由于有希望的经验进步，使用神经网络的图算法最近引起了极大的兴趣。这激发了对神经网络如何通过关系数据复制推理步骤的进一步理解。在这项工作中，我们研究了变压器网络从理论角度模拟算法的能力。我们使用的体系结构是一个循环变压器，其额外的注意力头与图形相互作用。我们通过构造证明，该架构可以模拟单个算法，例如Dijkstra的最短路径，广度和深度搜索，以及Kosaraju的强烈连接组件以及同时的多种算法。网络中的参数数不会随输入图大小而增加，这意味着网络可以模拟任何图的上述算法。尽管有有限的精确度，但我们在解决方案中的模拟显示了一个限制。最后，当利用额外的注意力头时，我们显示出具有恒定宽度的图灵完整性结果。
计算机视觉中的进步：探索深度学习和基于变压器的模型，以增强视觉感知
计算机视觉的最新进展已大大改变了各种行业，从医疗保健到自动驾驶。本文对这些发展进行了全面的调查，特别关注基于深度学习和基于变压器的模型。我们探讨了基本概念和方法，包括特征提取，分类，细分和对象检测。本文还强调了计算机视觉框架和工具的演变，强调了卷积神经网络（CNN），生成模型和转移学习的贡献。补充 - 我们讨论了新兴趋势，例如视觉变形金刚和多模式学习，同时承认诸如数据稀缺和实时处理之类的持续挑战。通过深入分析，我们旨在为学者和专业人员提供对计算机视觉的当前状态和未来前景的详细了解。本文进一步研究了医疗保健，自动驾驶汽车，零售，农业和安全方面的特定应用，以说明计算机视觉技术如何重新定义既定实践并增强决策能力。
基于主题无关变压器的神经语音解码，从表面和深度电极信号进行解码
摘要。目的：本研究探讨颅内电极捕获的神经信号的语音解码。大多数先前的研究只能处理 2D 网格上的电极（即脑皮层电图或 ECoG 阵列）和来自单个患者的数据。我们的目标是设计一个深度学习模型架构，可以同时适应表面（ECoG）和深度（立体定向 EEG 或 sEEG）电极。该架构应允许使用来自多个参与者的数据进行训练，这些参与者的电极位置变化很大，并且训练后的模型应该在训练期间未见过的参与者身上表现良好。方法：我们提出了一种名为 SwinTW 的新型基于变压器的模型架构，该架构可以利用任意位置的电极在皮层上的 3D 位置而不是它们在 2D 网格上的位置来处理它们。我们使用来自单个参与者的数据训练特定于主题的模型，并利用来自多个参与者的数据训练多患者模型。主要结果：仅使用低密度 8x8 ECoG 数据的受试者特定模型在 N=43 名参与者中实现了高解码皮尔逊相关系数与地面实况频谱图 (PCC=0.817)，优于我们之前的卷积 ResNet 模型和 3D Swin Transformer 模型。在每个参与者 (N=39) 中加入额外的条带、深度和网格电极可带来进一步的改进 (PCC=0.838)。对于只有 sEEG 电极的参与者 (N=9)，受试者特定模型仍然具有可比的性能，平均 PCC=0.798。多受试者模型在看不见的参与者身上实现了高性能，在留一交叉验证中平均 PCC=0.765。意义：提出的 SwinTW 解码器使未来的语音神经假体能够利用任何对特定参与者来说临床上最佳或可行的电极位置，包括仅使用更常规的深度电极
对在符号多步推理任务上训练的变压器的机械分析
变压器在一系列推理基准上表现出令人印象深刻的表现。评估这些能力是实际推理的结果的程度，现有工作重点是为行为研究开发复杂的基准标记。然而，这些研究并未提供有关推动观察到的capabilies的间隔机制的见解。为了提高我们对变形金刚之间机制的理解，我们对经过合成推理任务的跨前者进行了全面的机械分析。我们确定了模型用于解决任务的一组可解释机制，并使用相关性和因果关系来验证我们的发现。我们的结果表明，它实现了与并行操作的深度结合的复发机制，并存储中间的导致所选令牌位置。我们预计，我们在合成环境中确定的主题可以为变形金刚的更广泛的操作原理提供宝贵的见解，从而为理解更多的复合模型提供了基础。1
基于变压器的分类结果预测多模式中风治疗
摘要 - 这项研究提出了一个基于变压器结构和自我发项机制的多模式融合框架多晶体。这种结构结合了非对比度计算机断层扫描（NCCT）图像的研究和进行中风治疗患者的出院诊断报告，使用了基于变压器结构方法的多种方法来预测中风治疗的功能结果。结果表明，单模式文本分类的性能明显优于单模态图像分类，但是多模式组合的效果优于任何单个模态。尽管变压器模型仅在成像数据上表现较差，但是当与临床元诊断信息结合使用时，两者都可以学习更好的互补信息，并为准确预测中风治疗效果做出良好的贡献。
SM91243L功率变压器
其数据表中列出的Bourns®产品的特征和参数是基于实验室条件，并且有关产品适用于某些类型应用程序的陈述是基于Bourns对通用应用中典型要求的了解。用户应用程序中Bourns®产品的特性和参数可能因（i）Bourns®产品与用户应用程序中其他组件的组合而变化，或者（II）用户应用程序本身的环境。Bourns®产品的特性和参数在不同的应用中也可以并且确实有所不同，并且实际性能可能会随着时间而变化。用户应始终在其特定设备和应用程序中验证Bourns®产品的实际性能，并就其在其设备或应用中设计的额外测试保证金的数量做出独立的判断，以补偿实验室和现实世界中的差异。
使用基于变压器的深度学习模型注释活动数据
多年来，基于监督学习的许多活动识别系统。有监督学习的一个问题是，它需要足够数量的标记数据进行培训。大多数标签任务都是用户本身完成的。这个过程相当耗时且乏味。尽管有一些研究试图使用基于积极的学习方法来协助注释过程，但这些方法仍然需要用户的努力，并且是不切实际的，尤其是在为老年人实施房屋时。在本文中，我们使用基于变压器的深度学习模型提出了一种自动标签方法，以标记日常活动。我们的方法利用了时空信息进行类注释。我们在公开可用的数据集上评估了我们的方法。
机器人扩散变压器的成分
摘要 - 近年来，机器人主义者通过利用高容量变压器网络体系结构和生成扩散模型来解决灵巧机器人硬件的越来越一般任务取得了良好的进步。毫无意义地结合了这两个正交改进已被证明是非常困难的，因为没有明确且鲜明的理解过程来做出重要的设计选择。在本文中，我们确定，研究和改进了高容量扩散变压器策略的关键架构设计决策。所得模型可以在多个机器人实施方案上有效地解决各种任务，而不会导致主参数调整的痛苦。通过将调查的结果与改进的模型组件结合起来，我们能够提出一种新颖的体系结构，称为DIT-Block策略，该策略极大地超过了解决长期马（1500多个时间步长）与人类的Aloha Aloha Aloha Robot上的Dexteros Dists。此外，我们发现在10小时的高度多模式，语言注释的Aloha演示数据中接受培训时，我们的政策显示出改善的缩放性能。我们希望这项工作将为未来的机器人学习技术打开大门，以利用大型变压器体系结构的可扩展性来利用生成扩散建模的效率。代码，机器人数据集和视频可在以下网址找到：https：//dit-policy.github.io