XiaoMi-AI文件搜索系统
World File Search SystemTransformer
fit：扩散模型的灵活视觉变压器
这些序列达到了最大令牌长度𝐿！“＃使用填充令牌。在这里我们设置𝐿！“＃= 256匹配DIT的固定令牌长度。与潜在令牌相同，我们还将位置嵌入到最大长度上以进行填料。
V2VFormer：带有空间通道变压器的车辆到车辆合作感
摘要 - 促进感知的目的是通过利用附近连接的自动化车辆（CAV）的补充信息来实现整体感知的结构，从而赋予了更广泛的探测范围。尽管如此，如何合理地汇总自明观察仍然是一个开放的问题。在本文中，我们提出了一种新型的车辆对车辆感知框架 - 以基于TR ANSFORMER的CO Llaboration（COTR）称为V2VFormer。特别是。根据空间感知变压器（SAT）的位置相关性，它重新估算了特征的重要性，然后与通道的变压器（CWT）执行动态语义相互作用。，COTR是一个轻巧和插件的模块，可以将其无缝调整到带有可接受的计算开销的未货架3D检测器上。此外，通过各种驾驶条件进一步增强了大规模的合作感知数据集V2V-集合，从而为模型预处理提供了广泛的知识。定性和定量实验证明了我们提出的V2Vformer在模拟和现实世界情景中实现了最新的（SOTA）协作绩效，从而超过了所有对应方面的大量余量。我们希望这将推动未来网络自主驱动研究的进步。
Spike-dransventermer的有效稀疏硬件加速器
摘要 - 诸如Vision Transformer和Bert之类的大型模型，由于其表现性能而引起了极大的关注。但是，它们广泛的计算要求导致了大量的功率和硬件资源消耗。脑启发的计算已成为低功率硬件实现的一种有希望的方法。在本文中，我们提出了用于尖峰驱动变压器的有效稀疏硬件加速器。我们首先设计了一种新颖的编码方法，该方法编码有效激活的位置信息并跳过非尖峰值。此方法使我们能够使用编码的尖峰来执行线性，最大化和尖峰驱动的自我注意力的计算。与主要关注基于卷积的尖峰计算的常规SNN加速器的单个尖峰输入设计相比，用于尖峰驱动的自我注意的专门模块在处理双尖峰输入的能力方面是独一无二的。通过专门利用激活的尖峰，我们的设计充分利用了尖峰驱动的变压器的稀疏性，从而减少了冗余操作，降低了功率组合并最大程度地减少了计算潜伏期。实验结果表明，与现有的SNNS加速器相比，我们的设计分别在吞吐量和能源效率方面可提高13.24×和1.33倍。索引术语 - 弹性神经元网络（SNNS），硬件加速器，Spike-drive Transformer。
使用基于视觉变压器的心脏病检测...
摘要 - 心脏病，也称为心血管疾病，是一种普遍且危急的病情，其特征是心脏和血管受损，导致各种并发症，例如冠状动脉疾病，心力衰竭，心脏衰竭和心肌梗塞。对心脏病的及时和准确检测在临床实践中至关重要。对处于危险中的个体的早期识别可以主动采取干预措施，预防措施和个性化治疗策略，以减轻疾病的发展并减少不良后果。近年来，由于复杂的技术和计算方法的整合，心脏病检测领域已经见证了显着的进步。这些包括机器学习算法，数据挖掘技术和预测建模框架，这些框架利用大量的临床和生理数据来提高诊断准确性和风险分层。在这项工作中，我们建议使用剪切技术（即视觉变压器模型）从心电图图像中检测心脏病。这些模型是Google-Vit，Microsoft-beit和Swin-tiny。据我们所知，这是通过基于图像的ECG数据来检测心脏病的最初努力，即采用切割技术，即变压器模型。 为了证明所提出的框架的贡献，将视觉变压器模型的性能与状态研究进行了比较。 实验结果表明，所提出的框架表现出显着的分类结果。据我们所知，这是通过基于图像的ECG数据来检测心脏病的最初努力，即采用切割技术，即变压器模型。为了证明所提出的框架的贡献，将视觉变压器模型的性能与状态研究进行了比较。实验结果表明，所提出的框架表现出显着的分类结果。
复合单词变压器：学习构成全...
要将神经序列模型（例如变形金刚）应用于音乐发电任务，必须通过一系列有限的代币来代表一段音乐。这样的词汇通常涉及各种类型的令牌。例如，要描述音符，一个人需要单独的令牌来指示音符的音高，持续时间，速度（动态）和放置时间（起始时间）。虽然不同类型的令牌可能具有不同的适当性，但现有模型通常以与自然语言建模单词相同的方式对待它们。在本文中，我们提出了一种概念上不同的方法，该方法明确考虑了令牌的类型，例如注释类型和度量标准类型。，我们提出了一种新的变压器解码器 - 使用不同的馈送头来建模不同类型的kens。通过扩展压缩技巧，我们通过对相邻令牌进行分组，大大降低了令牌序列的长度，从而将一段音乐转换为一系列复合单词。我们表明，在动态有向超图中，可以将结果模型视为学习者。，我们采用它来学会创作全面的长度长度（每首歌曲最多涉及10k个个人to-kens）的表现力的流行钢琴音乐，无论是有条件地和无条件的）。我们的实验表明，与最先进的模型相比，所提出的模型在训练时收敛了5至10倍（即，在一天的GPU上，在具有11 GB内存的单个GPU上），并且在生成的音乐中具有可比的质量。
通过PerilyMph采样探索内耳和大脑连通性，以早期检测神经系统疾病：一种挑衅性的建议
多边形网格已成为离散近似3D形状的标准，这要归功于它们在捕获不均匀形状方面的效率和高灵活性。然而，这种不均匀性导致网格结构的不规则性，使诸如3D网格分割之类的任务尤其具有挑战性。通常通过基于CNN的方法来解决3D网格的语义分割，从而可以良好准确。最近，变形金刚在NLP和计算机视野领域都获得了足够的动力，至少在CNN模型中取得了表现，从而支持了长期以来的建筑普遍主义。按照这种趋势，我们提出了一种基于变压器的方法，用于通过全球注意机制对网格的图形结构进行更好的建模。为了解决标准变压器架构在建模非序列数据相对位置的局限操作员。在Maron等人提出的人类分割数据集上，对三组Coseg数据集进行了实验结果（Wang等，2012）。（2017）和Shapenet基准（Chang等，2015），展示了所提出的方法如何在3D网格的语义分割方面产生最新的性能。
当 Transformer 遇见有向图
Transformer 最初是作为文本的序列到序列模型提出的，但如今已成为图像、音频、视频和无向图等多种模态的重要工具。然而，尽管 Transformer 可应用于源代码和逻辑电路等无处不在的领域，但用于有向图的 Transformer 却是一个令人惊讶的未被充分探索的课题。在这项工作中，我们提出了两种用于有向图的方向感知和结构感知的位置编码：（1）磁拉普拉斯算子的特征向量——组合拉普拉斯算子的方向感知泛化；（2）方向随机游走编码。从经验上讲，我们表明额外的方向性信息在各种下游任务中都很有用，包括排序网络的正确性测试和源代码理解。结合以数据流为中心的图构造，我们的模型在 Open Graph Benchmark Code2 上的表现比之前的最佳模型高出 14.7%。3
3D猫：脑肿瘤的通道注意变压器
摘要 - 脑肿瘤诊断是一项具有挑战性的任务，但对于计划治疗以停止或减慢肿瘤的生长至关重要。在过去的十年中，卷积神经网络（CNN）在医学图像中肿瘤的自动分割中的高性能急剧增加。最近，与CNN相比，视觉变压器（VIT）已成为医学成像的稳健性和效率的核心重点。在本文中，我们提出了一个新颖的3D变压器，称为3D catbrats，用于基于最先进的SWIN变压器的磁共振图像（MRIS），用于使用残留块和通道注意模块的最先进的SWIN变压器进行磁共振图像（MRI）。在Brats 2021数据集上评估了所提出的方法，并实现了在验证阶段超过当前最新方法的平均骰子相似性系数（DSC）的定量度量。索引项 - CNN，变形金刚，VIT，语义段
用于基于脑电图的情绪识别的弹性图变换网络
摘要 脑电图 (EEG) 因其出色的时间分辨率和较差的空间分辨率而被应用于情绪识别。这导致大多数基于 EEG 的情绪识别模型强调利用时间特征而忽略了空间分辨率提供的有效信息。为了提取更具信息量的表示，我们提出了一种用于情绪识别的弹性图 Transformer 网络 (EmoGT)，其灵感来自 Transformer 在时间序列分析方面的优势和图卷积网络在拓扑分析中的卓越性能。此外，通过采用专门设计的结构，它可以灵活扩展以应对多模态输入。在 3 个公共数据集上的实验结果表明，我们的模型在单模态和多模态情况下平均比最新结果高出 3%，表明了同时利用时间和空间信息的有效性。