XiaoMi-AI文件搜索系统
World File Search SystemGFLOPS
NPU网络研讨会 - 重新定义HMI Systems
•4x A53 ARMCortex®最高1.4GHz•最多3个显示同时显示（HDMI，DSI，LVDS）•将AI带到系统中最多4个顶部，共享的C7X DSP/MMA•2x CSI•2x CSI连接器，1x与DSI共享，DSI•50 GFLOPS GPU•50 GFLOPS GPU•1x PCIE 3（1 x pcie 3（1 x 1 x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x x e eent ensern 3（1）
NVIDIA 和 ADLINK：面向下一代的 GPGPU 计算...
武装部队可以通过多种方式从异构计算中获益。例如，尽管雷达处理系统通常部署在大型巡洋舰、潜艇和类似平台上，但这些车辆仍必须应对与军队其他部分相同的尺寸、重量和功率 (SWaP) 限制。传统的雷达处理系统可能需要四立方英尺的空间来容纳一台重量超过 50 公斤、功耗为 2000W 的 18 刀片服务器，才能实现 576 GFLOPS 的峰值处理速度。将其与现代 VITA-75 系统（例如 ADLINK 的 HPERC 系列平台之一）进行比较。为了达到几乎相同的 574 GFLOPS，ADLINK 的无风扇 HPERC 仅占 0.8 立方英尺，重量不到 5 公斤，功耗仅为 200W。这在一定程度上是由于板载 GPU 承担了大部分雷达信号处理工作负载。
cib-se-yolov8
摘要 - 安全设备是确保在施工地点安全的关键组成部分，头盔对于减少伤害和死亡尤为重要。传统方法，例如负责人和项目经理的手动检查，效率低下且劳动力密集，通常无法防止与缺乏安全装备有关的事件。为了解决这个问题，利用实时检测技术，特别是Yolo，已经开发了一种新的方法来利用计算机视觉和深度学习。本研究利用公开可用的SHEL5K数据集用于头盔检测任务。所提出的CIB-SE-YOLOV8模型通过结合了注意机制并用C2FCIB块替换某些C2F块来建立在Yolov8n上。与Yolov8n相比，我们的模型获得了88.4％的MAP50，占3.2％的提高。它还表明精度增加了0.5％，召回率增加了3.9％，从而显着提高了头盔检测性能。此外，与Yolov8n的300万参数和8.1 GFLOPS相比，具有268万参数和7.6 GFLOPS的拟议模型在实时检测任务方面具有更高的效率，从而使其成为改善施工现场安全的更有效解决方案。
有效的视力变压器，有部分注意力
摘要。作为视觉变压器（VIT）的核心，自我注意力在建模长期空间相互作用方面具有很高的多功能性，因为每个查询都聚集在所有空间位置。尽管VIT在视觉任务中实现了有希望的表现，但自我注意力的复杂性与令牌长度相关。将VIT模型适应需要高输入分辨率的下游任务时，这会导致挑战性问题。前瞻性艺术试图通过引入稀疏的注意力（例如空间减少关注和窗户注意力）来解决这个问题。这些方法的一个常见点是，在计算注意力重量的情况下，所有图像/窗口令牌都连接在一起。在本文中，我们发现注意力重量与造成的计算冗余之间存在很高的相似性。为了解决这个问题，本文引入了新的关注，称为部分注意力，该问题通过减少注意图中的冗余信息来更有效地学习空间相互作用。我们注意力中的每个查询只与一小部分相关令牌相互作用。基于部分关注，我们提出了一个高效而通用的视觉变压器，名为Partialformer，该变压器在视觉任务之间的准确性和计算成本之间达到了良好的权衡。例如，在Imagenet-1K上，PartialFormer-B3超过1.7％的TOP-1准确性，同时节省25％的GFLOPS，而焦点T则超过0.8％，同时节省了30％的GFLOPS。
![arxiv：2401.08740v2 [cs.cv] 23 Sep 2024](/simg/3\33fbb7365131166a8cfcb2174da1735b80de7c91.webp)
arxiv：2401.08740v2 [cs.cv] 23 Sep 2024
摘要。我们提出了可扩展的插值变压器（SIT），这是建立在扩散变压器（DIT）骨架上的生成模型家族。与标准扩散模型更灵活地连接两个分歧的室内框架使得对各种设计选择的模块化进行了模块化研究，从而影响了基于动态传输的生成模型：在离散或连续的时间内学习，目标函数，interpolant，interpolant，interpolant连接分布和确定性或确定性或确定性或结构性的样本。通过使用完全相同的模型结构，参数数量和gflops，仔细地引入上述成分，SIT在条件成像网256×256和512×512基准上均匀地超过DIT。通过调查各种扩散系数，可以与学习分开调整，SIT分别达到50k的得分为2.06和2.62。代码可在此处找到：https：//github.com/willisma/sit
网格注意力：提高大型视力模型的计算效率，而无需微调
Gridattn集成了提出的网格聚类模块，网格分配策略以及将网格恢复模块与常见的MHA相结合，以提高大型视力模型的计算效率并保持其性能，而无需重新训练或对其参数进行微调。我们对最近的高分辨率任务进行了广泛的实验，包括零摄像实例分割（SAM，Expedit-SAM），文本到图像生成（稳定扩散v2.1）和语义segmentation（segformer b0-b5）。实验表明：通过任何训练或微调，Gridattn将GFLOPS降低[4.6％，16.1％]和GPU推断潜伏期的范围[8.2％，21.4％]，同时达到等效性能（绩效偏见比率低于1％）。此外，提出的实验表明，Gridattn也可以从头开始训练，也可以通过微调的微调成本进行微调，从而大大提高了性能效率 - 折衷方案。作为建议，我们鼓励社区直接部署训练有素的变压器，对预先训练的训练训练，或从头开始训练新的变压器时，将社区合并。源代码将在https://github.com/pengyulpy/gridattn中发布。
利用深度复发神经网络的新型基于FPGA的意图识别系统
摘要：近年来，已经引入了基于非声音和非人工界面的监视和控制家庭环境的系统，以改善流动性困难的人的生活质量。在这项工作中，我们介绍了利用经常性神经网络（RNN）的这种新型系统的可重新实现和优化。在实现现实世界结果中所证明的是，在实施RNN时，FPGA被证明非常有效。尤其是，我们可重新发现的实现比执行参考推理任务的高端Intel Xeon CPU快150×。此外，与服务器CPU相比，所提出的系统在能量效率方面达到了300倍以上的改进，而在所报告的已达到的GFLOPS/W方面，它甚至超过了服务器量的GPU。本研究中讨论的工作的另一个重要贡献是，所证明的实施和优化过程也可以作为对实施RNN的推理任务的任何人的参考；我们的C ++代码是针对高级合成（HLS）工具量身定制的，这进一步促进了这一事实。
基于注意力机制和FasterNet的改进型YOLOv5，用于铁路和航空轨道上的异物检测。
摘要 近年来，异物闯入铁路和机场跑道事件频发，这些物体包括行人、车辆、动物和杂物等。本文介绍了一种改进的YOLOv5架构，结合FasterNet和注意力机制，增强对铁路和机场跑道上异物的检测。本研究提出了一个新的数据集AARFOD（航空和铁路异物检测），结合了两个用于检测航空和铁路系统中异物的公共数据集，旨在提高异物目标的识别能力。在这个大型数据集上的实验结果表明，与基线YOLOv5模型相比，所提出的模型性能有显著提升，降低了计算要求。改进后的YOLO模型的精度显著提高了1.2%，召回率提高了1.0%，mAP@.5提高了0.6%，而mAP@.5-.95保持不变。参数减少了约25.12%，GFLOP减少了约10.63%。在消融实验中发现，FasterNet模块可以显著减少模型的参数数量，同时注意力机制的引用可以减缓轻量化带来的性能损失。
MADTP：多模式对准引导的动态令牌修剪，以加速视力 - 语言变压器
视觉 - 语言变压器（VLT）最近显示出巨大的成功，但同时伴随着大量的计算成本，其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案，但忽略了对齐不同模态来指导令牌修剪过程的关键作用，从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时，现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此，我们提出了一个名为M Ultodal的新颖框架，用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing（MADTP）。具体来说，我们首先引入了精心设计的多模式对齐指导（MAG）模块，该模块可以使相同语义概念的特征与不同的模式相结合，以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪（DTP）模块，该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明，MADTP可以显着确定多种模型的计算复杂性，同时保留竞争性能。值得注意的是，当将MADTP应用于NLVR2数据集中的BLIP模型时，可以将GFLOPS降低80％，而性能降低少于4％。该代码可在https://github.com/double125/madtp上找到。
![arXiv:2405.03541v1 [cs.CV] 2024 年 5 月 6 日](/simg/b\b0062a8e5f096579d990b3b87816beedea428ebe.png)
arXiv:2405.03541v1 [cs.CV] 2024 年 5 月 6 日
摘要。对象检测算法，特别是基于 YOLO 的算法，在平衡速度和准确性方面表现出了显著的效率。然而，它们在脑肿瘤检测中的应用仍未得到充分探索。本研究提出了 RepVGG-GELAN，这是一种新颖的 YOLO 架构，通过 RepVGG 进行了增强，RepVGG 是一种重新参数化的卷积方法，用于对象检测任务，特别侧重于医学图像中的脑肿瘤检测。RepVGG-GELAN 利用 RepVGG 架构来提高检测脑肿瘤的速度和准确性。将 RepVGG 集成到 YOLO 框架中旨在实现计算效率和检测性能之间的平衡。本研究包括基于空间金字塔池化的广义高效层聚合网络 (GELAN) 架构，进一步增强了 RepVGG 的能力。在脑肿瘤数据集上进行的实验评估表明，RepVGG-GELAN 在精度和速度方面超越了现有的 RCS-YOLO。具体而言，RepVGG-GELAN 在 240.7 GFLOPs 的运行速度下，与现有的最新方法相比，其精度提高了 4.91%，AP50 提高了 2.54%。提出的具有 GELAN 架构的 RepVGG-GELAN 取得了令人鼓舞的结果，成为医学图像中准确、高效地检测脑肿瘤的最先进的解决方案。实现代码已公开发布在 https://github.com/ThensiB/RepVGG-GELAN。