XiaoMi-AI文件搜索系统
World File Search SystemTransformers
训练时间的视觉变压器的结构修剪
基于注意力的变压器已成为实现自然语言处理和计算机视觉等任务的强大范式。但是，与卷积网络相比，变压器通常会显示更高的计算成本和参数计数。这种效率低下会阻碍将变压器部署到资源约束设备（例如边缘设备）上。结构化的修剪技术提出了一个有前途的方向，可以压缩变形金刚的边缘计算方案。本文研究了修剪技术以在视觉变压器中诱导结构化的稀疏性，从而减少了计算要求，同时最大程度地减少准确性降解。目标是为有效的视觉变压器推理开发方法。结构化的修剪在训练时间时通过解决一个优化问题来学习对单个网络组合的重要性得分，该问题试图最大程度地提高任务性能，同时最大程度地减少模型中参数的数量。随后，重要性得分转化为二进制掩码，这些面具修剪不重要的结构，例如特定线性层输出二 - 段或整个注意力头。为了促进诱发稀疏模式的规律性，提出了各种面具分享策略，以使相关构件元素的修剪决策对夫妇进行修剪决策。规律性至关重要，因为由于特定的变压器的特定连接模式，完全独立性排除了某些蒙版组件的去除，从而导致模型实际部署在硬件上时，导致压缩率较低。经验结果表明，在图像分类任务中，组件完全独立的掩蔽优于平衡准确性和稀疏性的共享策略。仍然是实验表明，通过共享和独立面具的混合，提出的修剪方案成功地压缩了视觉变压器的90％，精度仅为4％或70％的压缩率，精度下降小于1％。
对无定形核变压器绕组中轴向和径向力的比较分析B. D. Thanh *a，T。H. Le A，V。D. D. QuoC B
这项研究的目的是通过两种不同的方法检查和分析作用于无定形核心变压器低压和高压绕组的轴向和径向力，电磁力（EMFS）：一种分析方法：3-D有限元元件（FEM）。首先，提出了分析方法来分析磁回路中泄漏磁场的分布和作用在变压器绕组上的力。然后提出嵌入在ANSYS MAXWELL中的FEM，以在三个不同的工作条件下计算和模拟轴向和径向力：无负载，额定额定负载和短路。最终比较了从低压和高压绕组中的两种不同方法，例如额定电压，额定电流，短路电流，轴向和径向力以及EMF，以说明方法一致。该方法的验证应用于1600KVA-22/0.4KV的三相无定形核心变压器。
高级变压器研讨会报告
免责声明 本报告是由美国政府机构资助的工作报告。美国政府及其任何机构或其任何雇员均不对所披露的任何信息、设备、产品或流程的准确性、完整性或实用性做任何明示或暗示的保证，也不承担任何法律责任或义务，也不保证其使用不会侵犯私有权利。本文以商品名、商标、制造商或其他方式提及任何特定商业产品、流程或服务并不一定构成或暗示美国政府或其任何机构对其的认可、推荐或支持。本文表达的作者的观点和意见不一定代表或反映美国政府或其任何机构的观点和意见。
当 Transformer 遇见有向图
Transformer 最初是作为文本的序列到序列模型提出的，但如今已成为图像、音频、视频和无向图等多种模态的重要工具。然而，尽管 Transformer 可应用于源代码和逻辑电路等无处不在的领域，但用于有向图的 Transformer 却是一个令人惊讶的未被充分探索的课题。在这项工作中，我们提出了两种用于有向图的方向感知和结构感知的位置编码：（1）磁拉普拉斯算子的特征向量——组合拉普拉斯算子的方向感知泛化；（2）方向随机游走编码。从经验上讲，我们表明额外的方向性信息在各种下游任务中都很有用，包括排序网络的正确性测试和源代码理解。结合以数据流为中心的图构造，我们的模型在 Open Graph Benchmark Code2 上的表现比之前的最佳模型高出 14.7%。3
VIT2EEG：利用脑电图数据的混合预审前的视觉变压器
在这项研究中，我们证明了在电解图（EEG）回归任务上预处理的混合视觉变压器（VIT）模型的应用。最初接受了图像分类任务的训练，但在脑电图数据进行微调时，与其他模型相比，该模型的性能明显增加，包括相同的体系结构VIT训练而没有Imagenet权重。这一发现挑战了模型概括的传统范围，这表明在看似无关的图像数据上预测的变压器模型可以通过适当的精细调整管道为EEG回归任务提供宝贵的先验。这种方法的成功表明，在视觉任务中，VIT模型提取的功能可以很容易地用于EEG预测建模。我们建议不仅在神经科学和相关领域中利用这种方法，而且通常用于数据收集受实际，财务或道德约束限制的任何任务。我们的结果阐明了对任务明显不同的任务的潜力。
昏暗：用于机器翻译的迭代非Aut-Autore-ReRoRe-ReReRexression Transformer的多个步骤
随着解码步骤的数量增加，迭代非自回旋变压器的计算益处减小。作为一种补救措施，我们介绍了DI仍然是Untiple S Teps（Dims），这是一种简单而有效的蒸馏技术，以减少达到一定的翻译质量所需步骤的数量。截止的模型享有早期迭代的计算益处，同时从几个迭代步骤中保留了增强性。暗示着两个模型，即学生和老师。在多个解码步骤后，在老师通过缓慢移动的平均值跟随学生的同时，对学生进行了优化，以预测老师的输出。移动平均线使教师的知识更新，并提高了老师提供的标签的质量。在推断期间，学生用于翻译，并且不添加其他构成。我们验证了DIMS对在WMT'14 DE-EN的蒸馏和原始验证上获得7.8和12.9 BLEU点改进的各种模型的有效性。此工作的完整代码可在此处提供：https：//github.com/ layer6ai-labs/dims。
变形金刚峰会2023
Michelle Davis是Wood Mackenzie Power＆Renewables的首席分析师。她在伍德·麦肯齐（Wood Mackenzie）领导美国分发的太阳能实践，包括与SEIA（太阳能工业协会）合作的Solar Market Insight Report的季度出版物。她还领导着商业太阳能市场的研究报道，并跟踪安装人员，金融家和技术提供商的竞争格局。在加入Wood Mackenzie之前，米歇尔（Michelle）担任各种研究职位，重点介绍了可再生能源，涵盖了从能量水连接到电动汽车充电站的公用事业投资等主题。她拥有亚利桑那州立大学的生物学学士学位和安提阿大学的MBA，重点是可持续性。米歇尔总部位于亚利桑那州的坦佩。
层次视觉变压器用于心脏射血分数估计
摘要 - 射血分数的左心室是心脏功能最重要的度量之一。心脏病专家使用了有资格延长延长疗法的患者。但是，对射血传输的评估遭受观察者间变异性的影响。为了克服这一挑战，我们提出了一种基于层次视觉变压器的深度学习方法，以估计超声心动图视频的射血分数。所提出的方法可以估计射血分数，而无需首先左静脉分割，使其比其他方法更有效。我们在Echonet-Dynamic数据集上评估了我们的方法5。59，7。 59和0。 59，用于MAE，RMSE和R 2分。 与最新方法，超声视频变压器（UVT）相比，此结果更好。 源代码可在https://github.com/lhfazry/ultraswin上找到。 索引术语 - 心电图，心脏射血分数，Ultraswin，视觉变压器，echonet-Dynamic59，7。59和0。59，用于MAE，RMSE和R 2分。与最新方法，超声视频变压器（UVT）相比，此结果更好。源代码可在https://github.com/lhfazry/ultraswin上找到。索引术语 - 心电图，心脏射血分数，Ultraswin，视觉变压器，echonet-Dynamic
动态耗散参数的动态散热模型，用于油导向和空气牵引变压器及其实验验证
摘要：通常用狭窄油通道的牵引力变压器使用ODAF或“定向空气强制的油”方法冷却，在该方法中，其温度在很大程度上取决于绕组的焦油热量，变压器中的共轭热传递，以及通过油冷却器的二次热量释放，以及油泵产生的油液液泵。既不有资格预测这种类型的变压器中的时间和空间温度变化，均未获得热 - 电动类比和CFD模拟方法。 在当前工作中，分布式参数模型是为牵引力变压器和油冷却器而建立的，分别假定在油流方向上的一维温度线。 然后，这两个模型通过其界面的流量，温度和压力连续性与油泵和管道的集体参数结合，从而导致了油导向和空气牵引力变压器的动态热量耗散模型的推导。 另外，为其数值解提供了有效的算法，并进行了温度上升实验以进行模型验证。 最后，研究了牵引力变压器中动态热量耗散的基本性，并研究了环境温度的影响。均未获得热 - 电动类比和CFD模拟方法。在当前工作中，分布式参数模型是为牵引力变压器和油冷却器而建立的，分别假定在油流方向上的一维温度线。然后，这两个模型通过其界面的流量，温度和压力连续性与油泵和管道的集体参数结合，从而导致了油导向和空气牵引力变压器的动态热量耗散模型的推导。另外，为其数值解提供了有效的算法，并进行了温度上升实验以进行模型验证。最后，研究了牵引力变压器中动态热量耗散的基本性，并研究了环境温度的影响。
