XiaoMi-AI文件搜索系统
World File Search SystemTransformer
视觉变压器分割的视觉鸟声音denoising
音频denoising，尤其是在鸟类声音的背景下，由于持续的残留噪声，这仍然是一项具有挑战性的任务。传统和深度学习方法通常在人工或低频噪声中挣扎。在这项工作中，我们提出了VITV，这是一种新型的方法，利用了视觉变形（VIT）架构的力量。vitvs熟练地结合了分段技术，从而将清洁音频与复杂的信号混合物中解脱出来。我们的主要贡献涵盖了VITV的发展，引入了全面，远程和多规模的表示。这些贡献直接解决了常规方法固有的局限性。广泛的例子表明，VITV的表现要优于最先进的方法，将其定位为现实世界中鸟类声音降解应用的基准解决方案。源代码可用：https：//github.com/aiai-4/vivts。索引术语：音频denoising，变压器，分段
使用GPU和多线程的优化视觉变压器训练
摘要 - 传统的卷积神经网络（CNN）通常在捕获各种数据集中的复杂空间关系和细微的模式方面遇到困难。为了克服这些限制，这项工作先驱，使视觉变压器（VIT）模型的应用在计算机视觉领域引起了显着关注，因为它们能够通过自我意见机制在图像中捕获图像中的长期依赖性的能力。然而，培训大量参数的大规模VIT模型会带来计算挑战。在本文中，我们提出了一种优化的方法，用于培训VIT模型，该模型利用图形处理单元（GPU）的并行处理功能，并使用多线程优化了计算工作负载分布。在CIFAR-10数据集上对所提出的模型进行了训练和测试，并在100个时期后达到了99.92％的出色精度。与现有方法相比，实验结果揭示了我们方法在优化训练效率方面的有效性。这强调了VIT模型的出色性能及其革新图像分类任务的潜力。索引术语 - CIFAR-10数据集，卷积神经网络（CNN），GPU，图像分类，多线程，视觉变压器（VIT），注意机制
带电流互感器的传感器单元 SU100 数据表
© TQ-Systems GmbH 2023 | 所有数据仅供参考 | 如有更改，恕不另行通知 | AUT_DB_SU100_A4_EN_Rev0200
提升 Transformer 架构在语义文本相似度方面的性能
摘要 — 语义文本相似性是估计两个文本含义之间的相似性的任务。在本文中，我们通过部分调整模型然后端到端调整，在语义文本相似性基准上对 Transformer 架构进行微调，以实现语义文本相似性。我们通过将问题作为二分类任务或回归任务来尝试 BERT、RoBERTa 和 DeBERTaV3 交叉编码器。我们结合 Transformer 模型的输出，并使用手工制作的特征作为增强算法的输入。由于测试集结果较差，加上验证集的改进，我们尝试使用不同的数据集拆分来进一步调查这种情况。我们还提供了错误分析，重点关注预测范围的边缘。索引术语 — 语义文本相似性、Transformer、增强算法、自然语言处理
使用粗到精视觉变换器进行仿射医学图像配准
仿射配准在全面的医学图像配准流程中不可或缺。然而，只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络（CNN）来学习联合仿射和非参数配准，而对仿射子网络的独立性能探索较少。此外，现有的基于 CNN 的仿射配准方法要么关注局部错位，要么关注输入的全局方向和位置来预测仿射变换矩阵，这些方法对空间初始化很敏感，并且除了训练数据集之外表现出有限的通用性。在本文中，我们提出了一种快速而鲁棒的基于学习的算法，即粗到精视觉变换器（C2FViT），用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明，我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法，同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
基于变压器的交通拥护预测能量... -Dr -ntu
摘要 - 燃料电池电动汽车（FCEV）的能源经济在确定其实用性方面起着至关重要的作用，使能源管理策略（EMS）的优化必不可少。基于未来车辆速度预测的预测EMS（PEMS）为增强EMS性能提供了巨大的潜力。但是，当前的PEMS预测模型依赖于历史速度数据或静态流量信息，从而忽略了实时交通状况的影响。在本文中，我们引入了基于变压器的PEMS（TPEM），该PEMS（TPEM）结合了实时预测的周围交通信息，以改善FCEV的经济经济。通过考虑受控车辆和周围车辆之间的复杂相互作用来更好地预测车速，我们开发了一个基于变压器网络的预测器，该预测指标考虑了受控车辆周围六个车辆的速度和相对距离，从而在接下来的10秒内产生了速度预测。然后，我们将深度加固学习（DRL）方法作为下游优化器，创建完全数据驱动的PEM。为了培训TPEM，我们开发了一个来自NGSIM数据集的数据集，该数据集由许多驾驶轮廓段组成，其中包括受控VE-HICLE和周围流量的时间序列特征。此外，我们还利用Sumo模拟器生成支持流量信息的驾驶配置文件进行性能评估。实验结果揭示了我们基于变压器的预测器优于现有的预测因子，即经常性神经网络（RNN），在处理流量信息并实现改进的预测方面。相对于当前最新的长期记忆（LSTM）PEMS，TPEM将FCEV的经济效率提高了4.6％。
spt：交互式图像分割的序列提示变压器
摘要 - Interactive分割旨在根据用户提供的点击从图像中提取感兴趣的对象。在现实世界应用中，通常需要分割一系列具有相同目标对象的图像。但是，现有方法通常一次处理一个图像，未能考虑图像的顺序性质。为了克服这一限制，我们提出了一种称为序列提示变压器（SPT）的新方法，该方法是第一个利用顺序图像信息进行交互式分割的方法。我们的模型包括两个关键组成部分：（1）序列提示变压器（SPT），用于从图像，点击和掩码序列中获取信息以提高准确的信息。（2）TOP-K提示选择（TPS）选择SPT的精确提示，以进一步增强分割效果。此外，我们创建ADE20K-SEQ基准测试，以更好地评估模型性能。我们在多个基准数据集上评估了我们的方法，并表明我们的模型超过了所有数据集的最新方法。索引项 - 计算机视觉，交互式图像分割
表格医疗保健数据的自我注意和样本的注意变压器
2。理论背景3 2.1。表格数据的最新时间。。。。。。。。。。。。。。。。。。。。。。。。3 2.2。表格数据深度学习方法的概述。。。。。。。。。。。6 2.2.1。数据编码方法。。。。。。。。。。。。。。。。。。。。。。。。。6 2.2.2。专业体系结构。。。。。。。。。。。。。。。。。。。。。。。。6 2.2.3。正则化模型。。。。。。。。。。。。。。。。。。。。。。。。。。7 2.3。用表格数据的深度学习方法的问题。。。。。。。。。。。7 2.3.1。 异质数据和非信息特征。 。 。 。 。 。 。 。 。 。 8 2.3.2。 嘈杂的数据。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 8 2.4。 圣人：自我注意力和样本相互注意变压器。 。 。 。 。 。 。 9 2.4.1。 功能嵌入。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 。 9 2.4.2。7 2.3.1。异质数据和非信息特征。。。。。。。。。。8 2.3.2。嘈杂的数据。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。8 2.4。圣人：自我注意力和样本相互注意变压器。。。。。。。9 2.4.1。功能嵌入。。。。。。。。。。。。。。。。。。。。。。。。。。。。9 2.4.2。自我注意力。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。10 2.4.3。样本间注意。。。。。。。。。。。。。。。。。。。。。。。。。。13 2.4.4。圣人。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。14 2.4.5。自我监督的预处理。。。。。。。。。。。。。。。。。。。。。。。15 2.4.6。finetuning。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。18 2.5。圣地。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。19 2.6。圣丹。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。20
采用不同介电液体的电力变压器的热建模
2010 年，Sorgic 和 Radakovic [8] 对浸没在矿物油中的变压器进行了二维模拟，以将冷却系统与油驱动和强制油配置进行比较。2012 年，Tsili 等人建立了一种方法来开发三维模型并预测热点的温度 [9]。这一年，Skillen 等人对一个不对称非等温流二维模型进行了 CFD 模拟，以表征具有锯齿形冷却的变压器绕组中的油流 [10]。2014 年，Yatsevsky 对浸没在自然对流油中的变压器进行了二维模拟，包括铁心、油箱和散热器，以预测热点。所开发的模型表现出良好的性能，并通过实验进行了验证 [11]。最近，Torriano 等人在一种采用自然对流冷却（ON）的比例盘式电力变压器中开发了三维传热模型 [12]。