XiaoMi-AI文件搜索系统
World File Search Systemtransformers
日照和环境温度对俄罗斯数字电压互感器运行的影响
摘要。本研究致力于研究太阳辐射和高环境空气温度对数字电压互感器工作的影响。开发的数字电压互感器设计包含在技术和商业电能消耗计量的智能电网系统中。对俄罗斯夏季条件下数字电压互感器工作的不利条件进行了分析。介绍了借助基于有限元法的 COMSOL Multiphysics 程序获得的变压器热状态数学模拟结果。在经过验证的数学模型上对电阻分压器变压器的热场进行了实验研究，以确定电阻元件自热最小的位置。
解决电力变压器严重短缺问题，确保美国电网可靠性
电力是现代生活必不可少的，而变压器是稳定和有弹性的电网的重要组成部分，而电网又是美国基础设施和经济福祉的关键。变压器改变电压，使电力能够有效地从发电源流向最终用户（即用电的地方）。在新冠疫情期间，变压器制造行业是经历严重供应链中断的行业之一，而这些中断的影响在随后的几年里变得更加明显。目前，订购变压器的电力公司或发电开发商可能需要等待 2 到 4 年才能交货，而在 2020 年，等待时间仅为数月。2 美国一家大型电力变压器制造厂披露，新变压器订单的等待时间为 5 年。
使用视频视觉变压器对周围车辆的巷道更改预测
摘要：预期周围车辆的车道变化对于自动驾驶汽车的安全和ffi cient运行至关重要。以前的作品采用了不包含上下文信息的物理变量的用法。最近的方法依赖于行动识别模型，例如3D CNN和RNN，从而处理了复杂的体系结构。尽管变形金刚的出现成为行动识别，但采用变压器体系结构的作品有限。自主驾驶依赖于许多外部因素，包括驾驶员行为，天气状况，意外障碍和遵守Tra FFI C规则。但是，关键组件是能够准确预测自动驾驶汽车之前的车辆是否可能改变车道的能力。这项研究通过采用视频动作预测来应对自动驾驶汽车中车道变化预测（LCP）的关键挑战，并特别着重于整合视频视觉变形金刚（Vivit）。使用摄像头输入得出的小管嵌入，此方法利用了预防数据集，该数据集提供了对车辆轨迹和关键事件的详细注释。该方法超过了先前的模型，在通过1秒地平线预测车道变化方面达到了超过85％的测试精度。比较分析重点介绍了Vivit在视频数据中捕获时空依赖性方面的优越性，同时也需要更少的参数，从而提高了计算EFFI的效率。这项研究有助于通过展示Vivit在现实世界应用中的E FFI CACY并提倡进一步探索以提高车辆安全性和E FFI效率的进一步探索，从而有助于提高自主驾驶技术。
大型语言模型是人工智能，工业，教育和社会中的变压器
作者和审稿人：博士教授。StefanBrüggenwirth，Fraunhofer FHR，Wachtberg Dr.菲尔。Aljoscha Burchard，DFKI柏林教授博士。Tim Fingscheidt，Tu Braunschweig教授博士rer。nat。Holger Hoos，Rwth Aachen Dr.-ing。Klaus Illgner，K |镜头GmbH，SaarbrückenDr. rer。 nat。 Henrik Junklewitz，VDE电气工程协会Elektronik InformationStechnik E.V. 博士教授。 AndréKaup，Friedrich Alexander University Erlangen-Nuremberg博士菲尔。 Katharina Von Knop，VDE电子信息技术协会E.V. 博士。 JoachimKöhler，Fraunhofer IAIS，圣奥古斯丁教授博士rer。 nat。 Gitta Kutyniok，路德维希·马克西米利人大学慕尼黑教授博士。 Rainer Martin，Ruhr University Bochum博士教授。 Dorothea Kolossa，Tu柏林教授。 塞巴斯蒂安·莫勒（SebastianMöller） rer。 nat。 RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑Klaus Illgner，K |镜头GmbH，SaarbrückenDr. rer。nat。Henrik Junklewitz，VDE电气工程协会Elektronik InformationStechnik E.V. 博士教授。 AndréKaup，Friedrich Alexander University Erlangen-Nuremberg博士菲尔。 Katharina Von Knop，VDE电子信息技术协会E.V. 博士。 JoachimKöhler，Fraunhofer IAIS，圣奥古斯丁教授博士rer。 nat。 Gitta Kutyniok，路德维希·马克西米利人大学慕尼黑教授博士。 Rainer Martin，Ruhr University Bochum博士教授。 Dorothea Kolossa，Tu柏林教授。 塞巴斯蒂安·莫勒（SebastianMöller） rer。 nat。 RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑Henrik Junklewitz，VDE电气工程协会Elektronik InformationStechnik E.V.博士教授。AndréKaup，Friedrich Alexander University Erlangen-Nuremberg博士菲尔。 Katharina Von Knop，VDE电子信息技术协会E.V. 博士。 JoachimKöhler，Fraunhofer IAIS，圣奥古斯丁教授博士rer。 nat。 Gitta Kutyniok，路德维希·马克西米利人大学慕尼黑教授博士。 Rainer Martin，Ruhr University Bochum博士教授。 Dorothea Kolossa，Tu柏林教授。 塞巴斯蒂安·莫勒（SebastianMöller） rer。 nat。 RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑AndréKaup，Friedrich Alexander University Erlangen-Nuremberg博士菲尔。Katharina Von Knop，VDE电子信息技术协会E.V.博士。JoachimKöhler，Fraunhofer IAIS，圣奥古斯丁教授博士rer。 nat。 Gitta Kutyniok，路德维希·马克西米利人大学慕尼黑教授博士。 Rainer Martin，Ruhr University Bochum博士教授。 Dorothea Kolossa，Tu柏林教授。 塞巴斯蒂安·莫勒（SebastianMöller） rer。 nat。 RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑JoachimKöhler，Fraunhofer IAIS，圣奥古斯丁教授博士rer。nat。Gitta Kutyniok，路德维希·马克西米利人大学慕尼黑教授博士。Rainer Martin，Ruhr University Bochum博士教授。 Dorothea Kolossa，Tu柏林教授。 塞巴斯蒂安·莫勒（SebastianMöller） rer。 nat。 RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑Rainer Martin，Ruhr University Bochum博士教授。Dorothea Kolossa，Tu柏林教授。塞巴斯蒂安·莫勒（SebastianMöller） rer。nat。RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。 nat。 Vera Schmitt，Tu柏林教授博士。 Ingo Siegert，Otto von Guericke University，Magdeburg博士。 Volker Ziegler，诺基亚，慕尼黑RalfSchlüter和David Thulke，M.Sc.，Rwth Aachen Dr. rer。nat。Vera Schmitt，Tu柏林教授博士。Ingo Siegert，Otto von Guericke University，Magdeburg博士。Volker Ziegler，诺基亚，慕尼黑Volker Ziegler，诺基亚，慕尼黑
昏暗：用于机器翻译的迭代非Aut-Autore-ReRoRe-ReReRexression Transformer的多个步骤
随着解码步骤的数量增加，迭代非自回旋变压器的计算益处减小。作为一种补救措施，我们介绍了DI仍然是Untiple S Teps（Dims），这是一种简单而有效的蒸馏技术，以减少达到一定的翻译质量所需步骤的数量。截止的模型享有早期迭代的计算益处，同时从几个迭代步骤中保留了增强性。暗示着两个模型，即学生和老师。在多个解码步骤后，在老师通过缓慢移动的平均值跟随学生的同时，对学生进行了优化，以预测老师的输出。移动平均线使教师的知识更新，并提高了老师提供的标签的质量。在推断期间，学生用于翻译，并且不添加其他构成。我们验证了DIMS对在WMT'14 DE-EN的蒸馏和原始验证上获得7.8和12.9 BLEU点改进的各种模型的有效性。此工作的完整代码可在此处提供：https：//github.com/ layer6ai-labs/dims。
基于图变换器模型的药物-靶标相互作用预测新方法
摘要背景：药物-靶标相互作用预测（DTIs）对于加速药物研究和药物重新定位变得越来越重要。药物-靶标相互作用网络是DTIs预测的典型模型。由于药物和靶标之间存在许多不同类型的关系，药物-靶标相互作用网络可用于建模药物-靶标相互作用关系。近期关于药物-靶标相互作用网络的研究大多集中在药物节点或靶标节点上，而忽略了药物-靶标之间的关系。结果：提出了一种新的预测方法来独立地建模药物和靶标之间的关系。首先，我们利用药物和靶标的不同层次关系来构建药物-靶标相互作用的特征。然后，我们使用线图来建模药物-靶标相互作用。之后，我们引入图变换器网络来预测药物-靶标相互作用。结论：我们引入线图来建模药物与靶标之间的关系。将药物-靶标相互作用从链接转换为节点后，我们使用图变换器网络来完成药物-靶标相互作用预测任务。
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
与变压器的全球和本地功能通信进行3D人姿势估计
最近，时空变压器结构已被广泛应用于3D人类姿势估计的问题，从而实现了最新的性能。这些方法中的许多方法都将单个框架中的单个关节视为令牌，并且在同一框架或相同轨迹的令牌上施加注意力。尽管这种结构可有效地计算单个关节之间的相关性，但它过于限制，因为诸如帧或轨迹之类的全局特征无法很好地传达。在本文中，我们建议Galformer解决此问题。Galformer由局部和全局变压器块组成，前者基于关节令牌，如先前的方法一样，而后者，即全局混合变压器，将所有关节混合在特定框架范围内的所有关节，以实施特征交换的电感偏见。在提出的方法中交替重复这两个变压器块，以计算关节，形状和轨迹之间的相关性。实验表明，与人类36M，MPI-INF-3DHP和HUMANEVA数据集的现有方法相比，我们的方法具有优越或至少具有竞争性能。
精确：使用带有变压器的动作块的端到端自动挖掘机系统
摘要 - 挖掘机对于诸如建设和采矿等各种任务至关重要，而自主挖掘机系统可以提高安全性和效率，解决劳动力短缺并改善人类的工作条件。与现有的模块化方法不同，本文介绍了精确的末端自动挖掘机系统，该系统处理原始的LIDAR，相机数据和关节位置，以直接控制挖掘机阀。利用具有变压器（ACT）体系结构的动作块，精确地采用模仿学习来从多模式传感器中获取观测作为输入并生成可行的序列。在我们的实验中，我们基于捕获的现实世界数据来构建一个模拟器，以模拟挖掘机阀态与关节速度之间的关系。有了一些人类经营的演示数据轨迹，精确证明了完成不同发掘任务的能力，包括通过模拟器验证中的模仿学习到达，挖掘和倾倒。据我们所知，精确代表了通过模仿学习方法以最少的人类示范集来构建端到端自主挖掘机系统的第一个实例。有关此工作的视频可以在https://youtu.be/nmzr rf-aek上访问。
高程：利用元素的产品，用于设计高效且轻巧的视觉变压器
我们引入了Elevit，这是一种新颖的视觉变压器，可用于图像处理任务。与可持续计算的趋势保持一致，高架可以解决对轻质和快速模型的需求，而不必通过主要使用元素智能产品而不是传统的矩阵乘法来重新定义多头注意机制，而不是损害多头注意机制。这种修改保留了敏捷功能，同时在卷积投影框架内启用多个多头大小块，从而导致具有较少参数和提高训练和推理效率的模型，尤其是对于模仿者复杂的数据集。针对最先进的视觉变形金刚的基准测试在低数据制度数据集（如CIFAR-10，CIFAR-100和TINY-IMAGENET-200）上展示了竞争性能。