• GN&C 系统架构、要求和规范 • GN&C 故障管理/容错/自主性 • GN&C 验证和确认工具和技术 • GN&C 地面试验台/测试设施 • 飞行器飞行动力学和任务设计工具技术 • 系统识别 • GN&C 系统的端到端建模和仿真 • 飞行/操控品质 • 机载和地面地形和物体模拟、测绘和建模软件
摘要 随着人工智能 (AI) 和机器学习 (ML) 算法的不断进步,许多高计算应用程序现在都部署在边缘设备上。因此,需要一种高效的硬件,既能高效执行复杂算法,又能适应这项技术的快速改进。Xilinx® Kria™ K26 SOM 旨在满足在边缘设备上高效执行 ML 应用程序的需求。在本白皮书中,研究了各种 ML 模型和实时应用程序的性能,并将其与 Nvidia Jetson Nano 和 Nvidia Jetson TX2 进行了比较。Xilinx 的结果显示,K26 SOM 的性能优势大约是 Nvidia Jetson Nano 的 3 倍。与 Nvidia Jetson TX2 相比,它的性能/瓦特优势也超过 2 倍。K26 SOM 的低延迟和高性能深度学习处理单元 (DPU) 比 Nano 提供了 4 倍或更大的优势,并且具有 SSD MobileNet-v1 等网络,使 Kria SOM 成为开发 ML 边缘应用程序的理想选择。
本文提出了一个框架,以实现边缘设备上卷积神经网络 (CNN) 的节能执行。该框架由一对通过无线网络连接的边缘设备组成:性能和能耗受限的设备 D 作为数据的第一个接收者,能耗不受约束的设备 N 作为 D 的加速器。设备 D 动态决定如何分配工作负载,以尽量减少其能耗,同时考虑到网络延迟固有的不确定性和数据传输所涉及的开销。这些挑战通过采用马尔可夫决策过程 (MDP) 的数据驱动建模框架来解决,其中 D 在 O(1) 时间内查阅最优策略来做出逐层分配决策。作为一个特例,还提出了一种线性时间动态规划算法,用于在假设网络延迟在整个应用程序执行过程中保持不变的情况下一次性找到最佳层分配。所提出的框架在由 Raspberry PI 3 作为 D 和 NVIDIA Jetson TX2 作为 N 组成的平台上进行了演示。与完全在 D 和 N 上执行 CNN 的替代方案相比,能耗平均降低了 31% 和 23%。还实施了两种最先进的方法,并与所提出的方法进行了比较。
摘要 - 场景的理解在机器人技术,自动化,增强现实和许多其他领域至关重要。为了完全完成此任务,一个自主代理必须推断感应场景的3D结构(要知道它的位置)及其内容(了解它看到的内容)。为了解决这两个任务,经过训练的深度神经网络,从立体声图像中推断出语义细分和深度通常是首选的选择。特别是,可以独立训练这两个任务的独立模型或端到端的端到端体系结构来解决语义立体声匹配。到目前为止,这两种解决方案都是不具备的,因为在前一种情况下需要两个正向通行证,或者由于后者中单个网络的复杂性,尽管共同解决这两种任务通常在准确性方面是有益的。在本文中,我们为实时语义立体声匹配提供了一个紧凑而轻巧的体系结构。我们的框架以多阶段的方式依赖于粗到实体的估计,允许:i)即使在嵌入式设备上也非常快速推断,并且与最先进的网络相比,准确性下降的准确性下降,ii)根据特定的应用程序要求,速度的贸易准确性。与独立任务相比,在高端GPU以及嵌入式Jetson TX2上确保语义立体声匹配的优越性,并突出了我们框架在任何硬件和任何应用程序上的多功能性。
摘要 — 超维计算 (HDC) 已成为深度神经网络的替代轻量级学习解决方案。HDC 的一个关键特性是高度并行,可以促进硬件加速。然而,以前的 HDC 硬件实现很少关注 GPU 设计,这也导致效率低下,部分原因是在 GPU 上加速 HDC 的复杂性。在本文中,我们提出了 OpenHD,这是一个灵活且高性能的 GPU 驱动框架,用于自动将包括分类和聚类在内的一般 HDC 应用程序映射到 GPU。OpenHD 利用专门针对 HDC 的内存优化策略,最大限度地缩短对不同内存子系统的访问时间,并消除冗余操作。我们还提出了一种新颖的训练方法,以实现 HDC 训练中的数据并行性。我们的评估结果表明,所提出的训练方法可以快速达到目标准确率,将所需的训练周期减少了 4 × 。借助 OpenHD,用户无需领域专家知识即可部署 GPU 加速的 HDC 应用程序。与最先进的 GPU 驱动的 HDC 实现相比,我们在 NVIDIA Jetson TX2 上的评估表明,OpenHD 在基于 HDC 的分类和聚类方面分别快了 10.5 倍和 314 倍。与 GPU 上的非 HDC 分类和聚类相比,由 OpenHD 驱动的 HDC 在准确度相当的情况下快了 11.7 倍和 53 倍。
产品规格 产品名称 室内 AI Box(内置风冷风扇) 无风扇型(无风扇套件) 型号 AMB7201TX2 AMB7201TX2-HS01K 电源 DC12V 功耗 DC12V:30W 或更低 工作温度 -20°C ~ +60°C 存储温度 -25°C ~ +65°C 音频输入/输出 无 视频输出 HDMI 1.4 1ch. 输出 SD 端口 microSD 插槽 图像传感器 高性能 提供各种推荐的 USB 摄像头 镜头 90°/60°/37°/18° 出厂设置 分辨率 全高清 1920 x 1080 HD 1280 x 720 VGA 640 x 480 帧速率 H.264 1 ~ 30FPS JPEG 1 ~ 30FPS 比特率 64Kbps ~ 12,228Kbps 视频编解码器 JPEG/H.264 LAN RJ-45 100Base-TX/1000Base-T 通信模块 内置 LTE 通信模块 与 NTT Docomo Xi 兼容(与 KDDI Softbank 兼容) NVIDIA Jetson TX2 RAM 8GB 128bit LPDDR4 OS L4T 28.2.1 64bit 记录介质 microSDHC 32GB / microSDXC 62GB~512G 注:请注意,工业级 512GB SDXC 尚未发售。 外部尺寸(主机):W160mm x D175mm x H36mm(包括突出部分) 重量:主机:约 1kg 安装支架(2 个/套):约 0.5kg 无风扇散热器:约 1kg
在本文中,我们提出了一种用于边缘系统的新设备类感知的修剪方法,即OCAP。背后的动机是,深度神经网络(DNN)模型通常经过大型数据集训练,以便他们可以学习更多的多样性功能并被概括以准确预测众多类别。一些作品表明某些功能(频道)仅与某些类有关。和边缘系统通常在系统检测到的特定环境中实现。结果,为特定边缘环境实施一般培训模型会导致不必要的冗余。同时,将一些数据和模型转移到云中以进行个性化会导致隐私问题。因此,我们可能有一种在设备上意识到的修剪方法来删除与类无关紧要的通道,而边缘系统主要观察到,从而减少了模型的浮点操作(拖放),记忆足迹,潜伏期,潜伏期,能源效率,提高能量效率,并提高了相对较高的类别的准确性,并在同时保护了SITUD DATA DAPAIN PLISTERS PLASSICS。OCAP提出了一种基于输入图像的中间激活的新型类感知的修剪方法,以识别类 - 近距离的通道。此外,我们提出了一种基于KL差异的方法,以选择有效调整修剪模型的多样性和代表性数据。实验结果显示了OCAP的有效性和效率。与最先进的类感知的修剪方法相比,OCAP具有更好的准确性和更高的压缩比。代码可在https://github.com/mzd22222/ocap上获得。此外,我们在Nvidia Jetson Nano,Nvidia Jetson TX2和Nvidia Jetson Agx Xavier上评估了OCAP,在效率方面,实验结果证明了OCAP在边缘系统上的适用性。
关于FDP:有关人工智能(AI)的教师发展计划(FDP),用于计算机视觉,医学成像应用将帮助教育者和研究人员了解AI基础知识及其如何应用于具有多个安全应用的医学成像技术。参与者将探索机器学习和深度学习概念,专注于使用AI进行医学成像,这有助于诊断,医疗保健,农业,零售和监视系统。AI通过基于面部识别,虹膜识别,指纹分析和语音识别的准确有效的身份验证方法,在计算机视觉中起关键作用。通过动手活动和现实世界的例子,与会者将获得实用技能,以有效地使用AI在教学和研究中使用不同的算法。在计划结束时,参与者将准备将AI工具整合到他们的工作中,提高他们通过现代技术来教授和解决安全挑战的能力。这将通过增强他们在这些关键领域的专业知识和教学能力来使参与者受益。主要课程内容:针对计算机视觉应用程序的最新实施介绍。机器学习基础知识,使用数据预处理和数据可视化。监督和无监督的学习方法,SVM分类,神经网络和应用程序。深度学习方法的简介和基于DL的其他架构及其应用。用于计算机视觉,生物特征和医学成像实现的深度学习体系结构。医学图像数据处理和分析。用于生物医学成像,基于CT扫描/MRI的图像分析,眼底和医学图像分类的AI/ML。对象检测/跟踪算法(例如Yolo等),诸如UNET等分段算法等使用张量流/Pytorch识别人类活动/动作/生物识别。张量流/keras/pytorch/jupyter和colab的基础知识。使用Python/Matlab使用数据预处理和数据可视化。使用Python/Matlab的动手会话。CV和AI算法在硬件平台上实现,例如Jetson Nano,TX2和Pynq等。主持此计划的教师:该计划将由Nit Warangal的教职员工进行;邀请来自IIT/NIT/IIIT的有关领域的院士在该计划中发表讲座。也有望作为课程的一部分提供行业的演讲者。
关于FDP:有关人工智能(AI)的教师发展计划(FDP),用于计算机视觉,医学成像应用将帮助教育者和研究人员了解AI基础知识及其如何应用于具有多个安全应用的医学成像技术。参与者将探索机器学习和深度学习概念,专注于使用AI进行医学成像,这有助于诊断,医疗保健,农业,零售和监视系统。AI通过基于面部识别,虹膜识别,指纹分析和语音识别的准确有效的身份验证方法,在计算机视觉中起关键作用。通过实践活动和实例实例,与会者将获得实用技能,可以在教学和研究中有效地使用不同的AI使用AI。在计划结束时,参与者将准备将AI工具集成到他们的工作中,提高他们通过现代技术教授和解决安全挑战的能力。这将通过增强他们在这些关键领域的专业知识和教学能力来使参与者受益。主要课程内容:针对计算机视觉应用程序的最新实施介绍。机器学习基础知识,使用数据预处理和数据可视化。监督和无监督的学习方法,SVM分类,神经网络和应用程序。深度学习方法的简介和基于DL的其他架构及其应用程序。用于计算机视觉,生物特征和医学成像实现的深度学习体系结构。使用Python/Matlab的动手会话。医学图像数据处理和分析。用于生物医学成像,基于CT扫描/MRI的图像分析,眼底和医学图像分类的AI/ML。对象检测/跟踪算法(例如Yolo等),诸如UNET等分段算法等使用张量流/Pytorch识别人类活动/动作/生物识别识别张量流/keras/pytorch/jupyter和colab的基础知识。使用Python/Matlab使用数据预处理和数据可视化。CV和AI算法在硬件平台上实现,例如Jetson Nano,TX2和Pynq等。主持此计划的教师:该计划将由Nit Warangal的教职员工进行;邀请来自IIT/NIT/IIIT的有关领域的院士在该计划中发表讲座。也有望作为课程的一部分提供行业的演讲者。
