XiaoMi-AI文件搜索系统
World File Search SystemTransformer
fvit：带有Gabor滤波器的焦点视觉变压器
视觉变形金刚在各种计算机视觉任务中取得了令人鼓舞的进步。一个普遍的信念是，这归因于自我注意力在对特征令牌之间的全球依赖性建模中的能力。然而，自我注意力仍然面临着密集的预测任务的几个挑战，包括高计算复杂性和缺乏理想的电感偏见。为了减轻这些问题，重新审视了视觉变压器与Gabor过滤器的潜在优势，并提出了使用卷积的可学习的Gabor过滤器（LGF）。LGF不依赖自我注意力，它用于模拟生物学视觉系统中基本细胞对输入图像的响应。这鼓励视觉变形金刚专注于跨不同尺度和方向的目标的歧视性特征表示。此外，基于LGF设计了仿生焦点视觉（BFV）块。此块从神经科学中汲取灵感，并引入了双路径前进网络（DPFFN），以模仿生物学视觉皮层的平行和级联信息处理方案。此外，通过堆叠BFV块开发了一个称为焦视变压器（FVITS）的金字塔骨干网络的统一家族。实验结果表明，FVIT在各种视觉任务中表现出卓越的性能。在计算效率和可扩展性方面，与其他同行相比，FVIT具有显着优势。
DC变压器用于直流分布和传输
Yingzong Jiao获得博士学位。中国Zhejiang大学（ZJU）的电气工程学士学位，目前是Harbin Technology（HIT）的电气工程与自动化学院的助理教授。 他是与DC可再生收藏和DC/DC电源转换有关的5个研究项目的PI。 他在电力电子和电力系统领域发表了10多篇期刊论文，这些论文与可再生能源集成在一起。 在PEDG2023和EPE2023的会议上，他获得了HVDC 2020会议上的最佳纸张奖。 Ning Wang（IEEE学生会成员）获得了学士学位 硕士学位，中国达利安海洋大学的学位，硕士学位 毕业于中国哈尔滨理工学院（HIT），2023年。 他目前正在攻读博士学位。电力电子学位。 他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。Yingzong Jiao获得博士学位。中国Zhejiang大学（ZJU）的电气工程学士学位，目前是Harbin Technology（HIT）的电气工程与自动化学院的助理教授。他是与DC可再生收藏和DC/DC电源转换有关的5个研究项目的PI。他在电力电子和电力系统领域发表了10多篇期刊论文，这些论文与可再生能源集成在一起。在PEDG2023和EPE2023的会议上，他获得了HVDC 2020会议上的最佳纸张奖。Ning Wang（IEEE学生会成员）获得了学士学位 硕士学位，中国达利安海洋大学的学位，硕士学位 毕业于中国哈尔滨理工学院（HIT），2023年。 他目前正在攻读博士学位。电力电子学位。 他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。Ning Wang（IEEE学生会成员）获得了学士学位硕士学位，中国达利安海洋大学的学位，硕士学位毕业于中国哈尔滨理工学院（HIT），2023年。他目前正在攻读博士学位。电力电子学位。他当前的研究兴趣包括高功率DC变压器，MVDC收集/分配系统以及中频变压器的设计。
stpotr：同时使用非自动回形变压器进行机器人跟随
摘要 - 在本文中，我们通过开发神经网络模型来大大扩展了机器人执行后续任务和该任务的变化的能力，从而从观察到的人类运动历史上预测未来的人类运动。我们提出了一个非自动回忆的变压器架构，以利用其并行性质，以便在测试时更容易训练和快速，准确的预测。所提出的结构将Human运动预测分为两个部分：1）人类轨迹，这是髋关节随时间的3D位置，以及2）人类姿势，这是所有其他关节在时间上相对于固定髋关节的3D位置。我们建议同时做出两个预测，因为共享表示可以改善模型性能。因此，该模型由两组编码器和解码器组成。首先，应用于编码器输出的多头注意模块改善了人类轨迹。第二，应用于与解码器输出相连的编码器输出的另一个多头自我发项模块有助于学习时间依赖性。我们的模型在测试准确性和速度方面非常适合机器人应用，并且相对于最先进的方法进行了比较。我们通过机器人后续任务证明了我们作品的现实适用性，这是我们提议的模型充满挑战而实用的案例研究。我们的模型预测的人类运动使机器人可以在情况下进行详细的人类运动，例如静止不动，即站立。它还使简单的控制策略能够琐碎地概括到人类关注的许多不同变化，例如后续行动。我们的代码和数据可在以下github页面上获得：https：//github.com/mmahdavian/stpotr
nnUnetFormer：一种基于 nnUnet 和 Transformer 的多模态 MR 图像脑肿瘤分割自动方法
主要结果：我们通过 5 倍交叉验证在 BraTS 2021 数据集上评估了我们的方法，并取得了优异的性能，Dice 相似系数 (DSC) 为 0.936、0.921 和 0.872，Hausdorff 距离的第 95 百分位数 (HD95) 分别为整个肿瘤 (WT)、肿瘤核心 (TC) 和增强肿瘤 (ET) 区域的 3.96、4.57 和 10.45，在平均 DSC 和平均 HD95 方面均优于近期最先进的方法。此外，消融实验表明，将 Transformer 融合到我们改进的 nnUnet 框架中可以提高脑肿瘤分割的性能，尤其是对于 TC 区域。此外，为了验证我们方法的泛化能力，我们进一步在 FeTS 2021 数据集上进行了实验，并在 11 个看不见的机构上取得了令人满意的分割性能，其中 WT、TC 和 ET 区域的 DSC 分别为 0.912、0.872 和 0.759，HD95 分别为 6.16、8.81 和 38.50。
Robust Transformer-based UPS Series (1~800kVA)
成立于1993年，深圳KSTAR科学技术有限公司（股票代码：002518）是智能能源领域的全球领导者。KSTAR专注于UPS的研发和制造，精密冷却和MDC（模块化数据中心），电池，PV，ESS和EV充电器。
变电站，变压器建筑，Ardnacrusha，Co。Clare
NPWS许可证C17/2023（处理蝙蝠的许可证，2026年1月23日到期）； NPWS许可证27/2023（照片/电影蝙蝠的许可证，2024年12月31日到期）； NPWS许可证DER/BAT 2022-36（调查许可证，2025年3月24日到期）。权威性声明：奥格尼博士自2000年以来一直担任蝙蝠专家，并为所有爱尔兰蝙蝠物种开展了广泛的调查工作，包括大规模开发项目，道路计划，住宅开发项目，风电场开发项目以及与建筑物翻新或栖息地增强有关的较小项目。她是爱尔兰蝙蝠保护的监视协调员和教练20年。她是21世纪2014年出版物爱尔兰蝙蝠的合着者。本书获得了2015年CIEEM信息共享奖。Aughney博士是2010 - 2015年爱尔兰哺乳动物地图集的特约作者。所有分析和报告均由Tina Aughney博士完成。在训练有素的现场助理的协助下，收集的数据和测量完成。Shaun Boyle先生（现场助理）NPWS许可证DER/BAT 2022-37（调查许可证，2025年3月24日到期）。客户端：ESB网络项目名称和位置：变电站，变压器建筑，Ardnacrusha，Co。Clare报告修订历史
Spike-dransventermer的有效稀疏硬件加速器
摘要 - 诸如Vision Transformer和Bert之类的大型模型，由于其表现性能而引起了极大的关注。但是，它们广泛的计算要求导致了大量的功率和硬件资源消耗。脑启发的计算已成为低功率硬件实现的一种有希望的方法。在本文中，我们提出了用于尖峰驱动变压器的有效稀疏硬件加速器。我们首先设计了一种新颖的编码方法，该方法编码有效激活的位置信息并跳过非尖峰值。此方法使我们能够使用编码的尖峰来执行线性，最大化和尖峰驱动的自我注意力的计算。与主要关注基于卷积的尖峰计算的常规SNN加速器的单个尖峰输入设计相比，用于尖峰驱动的自我注意的专门模块在处理双尖峰输入的能力方面是独一无二的。通过专门利用激活的尖峰，我们的设计充分利用了尖峰驱动的变压器的稀疏性，从而减少了冗余操作，降低了功率组合并最大程度地减少了计算潜伏期。实验结果表明，与现有的SNNS加速器相比，我们的设计分别在吞吐量和能源效率方面可提高13.24×和1.33倍。索引术语 - 弹性神经元网络（SNNS），硬件加速器，Spike-drive Transformer。
为什么变压器体系结构难以获得基因组 - ...
。CC-BY-NC 4.0国际许可证的永久性。根据作者/筹款人提供了预印本（未经同行评审认证）提供的，他已授予Biorxiv的许可证，以在2025年1月14日发布的此版本中显示此版本的版权持有人。 https://doi.org/10.1101/2025.01.13.632745 doi：Biorxiv Preprint
![BERT和GPT语言模型的基于变压器的学习[0.4in] Avinash Kak Purdue University [0.1in]](/simg/b/b1789adb5a6ebb10f058c438310417bef2bfc880.webp)
BERT和GPT语言模型的基于变压器的学习[0.4in] Avinash Kak Purdue University [0.1in]
[正如我第14周讲座所述，变压器学习了输入的注意力图。忽略批处理轴，如果您在其输入中喂食[n w，m]张量，其中n w是元素的数量（令牌，补丁等）在每个元素的嵌入矢量表示的大小中，变压器的输出也将被形成[N W，M]，但有所不同。当您将学习的Q和k t张量乘以最终输出时，您将获得一个N W×N W数组，该数组是输入序列的N W元素上的注意力图。注意力图数组的元素（i，j）指示输入中的ith元素在同一输入中的j th元素中何种程度。 ]