XiaoMi-AI文件搜索系统
World File Search SystemJetson
业界最高性能AI（人工智能）监控摄像头
产品规格 产品名称 室内 AI 摄像机 室外 AI 摄像机 (IP66) 型号 SI7201TX2 SI7220TX2 电源 DC12V 或 PoE (IEEE802.3at) 防水外置电源 (单独出售) 功耗 DC12V：30W 或以下 PoE：25W 或以下 DC12V：30W 或以下 PoE：25W 或以下 工作温度 -10°C ~ +50°C -20°C ~ +50°C 存储温度 -15°C ~ +60°C -25°C ~ +60°C 音频输入/输出 内置麦克风 / LINE-OUT 连接器（机壳内） 内置麦克风 / LINE-OUT 连接器（机壳内） 视频输出 HDMI 1.4 1ch。输出类型 D 机壳连接器 HDMI 1.4 1ch。输出类型 D 外壳连接器 SD 端口 microSD 插槽 microSD 插槽 图像传感器 2.13M 像素 1/2.8” CMOS 图像传感器 2.13M 像素 1/2.8” CMOS 图像传感器 最低照度 0.1 lx 0.1 lx 镜头 90°/60°/37°/18° 出厂设置 90°/60°/37°/18° 出厂设置 分辨率 全高清 1920 x 1080 全高清 1920 x 1080 高清 1280 x 720 高清 1280 x 720 VGA 640 x 480 VGA 640 x 480 帧率 H.264 1 ~ 30FPS H.264 1 ~ 30FPS JPEG 1 ~ 30FPS JPEG 1 ~ 30FPS 比特率 64Kbps ~ 12,228Kbps 64Kbps ~ 12,228Kbps 视频编解码器 JPEG/H.264 JPEG/H.264 音频编解码器 G.711 μ-law G.711 μ-law LAN RJ-45 100Base-TX /1000Base-T WiFi 802.11ac 100Base-TX /1000Base-T WiFi 802.11ac 通信模块 内置 LTE 通信模块 NTT Docomo Xi 兼容 内置 LTE 通信模块 NTT Docomo Xi 兼容 NVIDIA Jetson TX-2 Jetson TX-2 RAM 8GB 128bit LPDDR4 8GB 128bit LPDDR4 OS L4T 28.2.1 64bit L4T 28.2.1 64bit 记录介质 microSDHC 32GB / microSDXC 62GB~512G microSDHC 32GB / microSDXC 62GB~512G 注：请注意，工业级 512GB SDXC 尚未发售。 外形尺寸（主体） W80mm x D207mm x H80mm（不包括突起部分） W120mm x D330mm x H100mm（不包括突起部分） 重量（主体） 1.15Kg 1.85Kg
ProAI：适用于汽车应用的高效嵌入式 AI 硬件——基准研究
多年来，单板计算机 (SBC) 领域的发展一直在不断加快。它们在计算性能和功耗之间实现了良好的平衡，这通常是移动平台所必需的，例如用于高级驾驶辅助系统 (ADAS) 和自动驾驶 (AD) 的车辆应用。然而，对更强大、更高效的 SBC 的需求日益增长，这些 SBC 可以实时运行功耗密集型深度神经网络 (DNN)，还可以满足必要的功能安全要求，例如汽车安全完整性等级 (ASIL)。ZF 正在开发“ProAI”，主要用于运行强大而高效的应用程序，例如多任务 DNN，此外，它还具有 AD 所需的安全认证。在这项工作中，我们基于功耗密集型多任务 DNN 架构 Multitask-CenterNet，就 FPS 和功率效率等性能指标比较和讨论了最先进的 SBC。作为一款汽车超级计算机，ProAI 实现了性能和效率的完美结合，其每瓦 FPS 数量几乎是现代工作站笔记本电脑的两倍，几乎是 Jetson Nano 的四倍。此外，根据基准测试期间的 CPU/GPU 利用率，还显示 ProAI 上仍有剩余电量用于执行进一步更复杂的任务。
EdgeWise：随机通信延迟下边缘设备上的节能 CNN 计算
本文提出了一个框架，以实现边缘设备上卷积神经网络 (CNN) 的节能执行。该框架由一对通过无线网络连接的边缘设备组成：性能和能耗受限的设备 D 作为数据的第一个接收者，能耗不受约束的设备 N 作为 D 的加速器。设备 D 动态决定如何分配工作负载，以尽量减少其能耗，同时考虑到网络延迟固有的不确定性和数据传输所涉及的开销。这些挑战通过采用马尔可夫决策过程 (MDP) 的数据驱动建模框架来解决，其中 D 在 O(1) 时间内查阅最优策略来做出逐层分配决策。作为一个特例，还提出了一种线性时间动态规划算法，用于在假设网络延迟在整个应用程序执行过程中保持不变的情况下一次性找到最佳层分配。所提出的框架在由 Raspberry PI 3 作为 D 和 NVIDIA Jetson TX2 作为 N 组成的平台上进行了演示。与完全在 D 和 N 上执行 CNN 的替代方案相比，能耗平均降低了 31% 和 23%。还实施了两种最先进的方法，并与所提出的方法进行了比较。
通过无人机检查自动太阳能检查的实时对象检测
摘要：太阳能检查需求的机器人任务敏捷和精确的对象检测策略。本文介绍了一个创新的基于关键的对象检测框架，专门为使用无人机实时的太阳能农场检查而设计。脱离常规边界框或细分方法，我们的技术着重于检测太阳能电池板的顶点，太阳能电池板的顶点比传统方法提供了更丰富的粒度。从Centernet中汲取灵感，我们的体系结构已针对Nvidia Agx Jetson Orin等嵌入式平台进行了优化，以1024×1376像素的分辨率达到接近60 fps，因此超过了相机的操作频率。这样的实时功能对于在时间关键的工业资产检查环境中有效的机器人操作至关重要。我们的模型的设计强调了减少的计算需求，将其定位为现实部署的实用解决方案。此外，积极学习策略的整合有望大大减少注释工作，并增强模型的运营可行性。总而言之，我们的研究强调了基于关键的对象检测的优势，为使用无人机的实时太阳能农场检查提供了一种实用有效的方法。
实时语义立体声匹配-IRIS
摘要 - 场景的理解在机器人技术，自动化，增强现实和许多其他领域至关重要。为了完全完成此任务，一个自主代理必须推断感应场景的3D结构（要知道它的位置）及其内容（了解它看到的内容）。为了解决这两个任务，经过训练的深度神经网络，从立体声图像中推断出语义细分和深度通常是首选的选择。特别是，可以独立训练这两个任务的独立模型或端到端的端到端体系结构来解决语义立体声匹配。到目前为止，这两种解决方案都是不具备的，因为在前一种情况下需要两个正向通行证，或者由于后者中单个网络的复杂性，尽管共同解决这两种任务通常在准确性方面是有益的。在本文中，我们为实时语义立体声匹配提供了一个紧凑而轻巧的体系结构。我们的框架以多阶段的方式依赖于粗到实体的估计，允许：i）即使在嵌入式设备上也非常快速推断，并且与最先进的网络相比，准确性下降的准确性下降，ii）根据特定的应用程序要求，速度的贸易准确性。与独立任务相比，在高端GPU以及嵌入式Jetson TX2上确保语义立体声匹配的优越性，并突出了我们框架在任何硬件和任何应用程序上的多功能性。
Jaist存储库
摘要 - 无人驾驶汽车（UAV）对关键应用（例如搜索和救援操作）具有巨大的潜力，在搜索和救援行动中，对室内环境的准确感知至关重要。然而，本地化，3D重建和语义细分的同时融合呈现出一个明显的障碍，尤其是在配备有限的功率和计算资源的UAV背景下。本文提出了一种新的方法，可以解决无人机操作中语义信息提取和利用方面的挑战。我们的系统集成了最先进的视觉大满贯，以估计后端的全面的6多姿势和高级对象分割方法。为了提高框架的计算和存储效率，我们采用了简化的基于体素的3D地图表示 - OctOmap来构建工作系统。此外，融合算法是不合适的，可以从前端大满贯任务和相应点获得每个帧的语义信息。通过利用语义信息，我们的框架增强了无人机在室内空间中感知和导航的能力，从而解决了姿势估计准确性和降低不确定性的挑战。通过凉亭模拟，我们验证了我们提出的系统的功效，并将我们的方法成功地嵌入了用于现实世界应用的Jetson Xavier AGX单元中。索引项 - 语义映射，S3M，无人机，ROS，SLAM。
基于水下计算机视觉的视频溺水检测设备
抽象溺水是一个重要的公共健康问题。视频溺水检测算法是找到溺水受害者的有用工具。但是，溺水研究研究的三个挑战通常会遇到：缺乏实际的溺水视频数据，微妙的早期溺水特征以及缺乏实时时间。在本文中，作者提出了一个水下计算机视觉的溺水检测装置，该检测设备由嵌入式AI设备，相机和防水外壳组成，以解决上述问题。检测设备利用Jetson Nano的高性能计算通过在获得的水下视频流中提出的溺水检测算法实现溺水事件的实时检测。所提出的溺水检测算法主要由两个阶段组成：在第一步中，成功地解决了周围环境的干扰，并为视频溺水检测提供了值得信赖的基础，Yolov5N网络用于根据溺水者的特征来检测近事实的人体。在第二阶段，作者提出了一个基于深层高斯模型，用于快速特征向量检测。轻巧的DDN与高斯模型相结合，以检测高级语义特征的异常，该功能具有更高的鲁棒性，并解决了缺乏溺水视频的缺乏。实验结果表明，所提出的溺水检测算法具有良好的全面性能和实际应用值。
OpenHD：基于 GPU 的超维计算框架
摘要 — 超维计算 (HDC) 已成为深度神经网络的替代轻量级学习解决方案。HDC 的一个关键特性是高度并行，可以促进硬件加速。然而，以前的 HDC 硬件实现很少关注 GPU 设计，这也导致效率低下，部分原因是在 GPU 上加速 HDC 的复杂性。在本文中，我们提出了 OpenHD，这是一个灵活且高性能的 GPU 驱动框架，用于自动将包括分类和聚类在内的一般 HDC 应用程序映射到 GPU。OpenHD 利用专门针对 HDC 的内存优化策略，最大限度地缩短对不同内存子系统的访问时间，并消除冗余操作。我们还提出了一种新颖的训练方法，以实现 HDC 训练中的数据并行性。我们的评估结果表明，所提出的训练方法可以快速达到目标准确率，将所需的训练周期减少了 4 × 。借助 OpenHD，用户无需领域专家知识即可部署 GPU 加速的 HDC 应用程序。与最先进的 GPU 驱动的 HDC 实现相比，我们在 NVIDIA Jetson TX2 上的评估表明，OpenHD 在基于 HDC 的分类和聚类方面分别快了 10.5 倍和 314 倍。与 GPU 上的非 HDC 分类和聚类相比，由 OpenHD 驱动的 HDC 在准确度相当的情况下快了 11.7 倍和 53 倍。
radarnext：基于4D MMWave Imaging Radar
摘要 - 3D对象检测对于自动驾驶（AD）和高级驾驶员辅助系统（ADA）至关重要。但是，大多数3D检测器优先考虑检测准确性，通常会忽略实际应用中的网络推理速度。在本文中，我们提出了基于4D MMWave雷达点云的实时可靠的3D对象检测器RadarNext。它利用可重新参数的神经网络来捕获多尺度功能，降低记忆成本并加速推理。此外，为了突出雷达点云的不规则前景特征并抑制背景混乱，我们提出了一个可变形的可变形前景增强网络（MDFEN），以确保检测准确性，同时小型地牺牲了速度的牺牲和参数的过多。dive viewt和tj4dradset数据集的实验结果验证了Radarnext的出色性能和效率，使用我们提出的MDFEN实现了50.48和32.30映射的变体。值得注意的是，我们的radarnext变体在RTX A4000 GPU上达到了超过67.10 fps的推理速度，而Jetson AGX Orin上的推理速度则达到了28.40 fps。这项研究表明，Radarnext带来了基于4D MMWave雷达的3D感知的新颖有效的范式。索引项 - 4D mmwave雷达； 3D对象检测；基于边缘的感知；轻量级感知模型
高性能AI（人工智能）移动盒子
产品规格 产品名称 室内 AI Box（内置风冷风扇） 无风扇型（无风扇套件） 型号 AMB7201TX2 AMB7201TX2-HS01K 电源 DC12V 功耗 DC12V：30W 或更低 工作温度 -20°C ~ +60°C 存储温度 -25°C ~ +65°C 音频输入/输出 无 视频输出 HDMI 1.4 1ch. 输出 SD 端口 microSD 插槽 图像传感器 高性能 提供各种推荐的 USB 摄像头 镜头 90°/60°/37°/18° 出厂设置 分辨率 全高清 1920 x 1080 HD 1280 x 720 VGA 640 x 480 帧速率 H.264 1 ~ 30FPS JPEG 1 ~ 30FPS 比特率 64Kbps ~ 12,228Kbps 视频编解码器 JPEG/H.264 LAN RJ-45 100Base-TX/1000Base-T 通信模块 内置 LTE 通信模块 与 NTT Docomo Xi 兼容（与 KDDI Softbank 兼容） NVIDIA Jetson TX2 RAM 8GB 128bit LPDDR4 OS L4T 28.2.1 64bit 记录介质 microSDHC 32GB / microSDXC 62GB~512G 注：请注意，工业级 512GB SDXC 尚未发售。 外部尺寸（主机）：W160mm x D175mm x H36mm（包括突出部分） 重量：主机：约 1kg 安装支架（2 个/套）：约 0.5kg 无风扇散热器：约 1kg