许多新的基于 AI 的产品和服务严重依赖云。AI 可能极其依赖计算,本地或边缘设备难以独立管理一切。因此,电力输送和电力效率已成为大型计算系统的关键问题。通过处理复杂 AI 功能的带有 ASIC 和 GPU 的处理器,该行业的功耗正在急剧增加。
RF-7850S SPR 专为应对当今数字战场的挑战而设计,其简单、强大的基于 Web 的用户界面可通过任何边缘设备上受支持的 Web 浏览器查看。由于它配备了易于使用的 L3Harris 地面部队跟踪器,因此无论使用何种设备,战斗管理系统功能都掌握在每个士兵手中。这允许士兵下载地图并查看网络上所有士兵的位置。
在移动设备上处理视觉数据有许多应用,例如应急响应和跟踪。最先进的计算机视觉技术依赖于大型深度神经网络 (DNN),而这些网络通常耗电量太大,无法部署在资源受限的边缘设备上。许多技术通过牺牲准确性来提高 DNN 的效率。然而,这些技术的准确性和效率无法适应具有不同硬件约束和准确性要求的各种边缘应用。本文表明,一种称为分层 DNN 的最新高效树型 DNN 架构可以转换为基于有向无环图 (DAG) 的架构,以提供可调的准确性-效率权衡选项。我们提出了一种系统方法来识别必须添加的连接以将树转换为 DAG 来提高准确性。我们在流行的边缘设备上进行了实验,并表明增加 DAG 的连接性可以将准确性提高到现有高精度技术的 1% 以内。我们的方法比高精度技术所需的内存减少了 93%,能耗减少了 43%,操作减少了 49%,从而提供了更高的精度和效率。
计算系统的能力正与其试图理解的海量视觉数据展开一场“军备竞赛”。在自动驾驶、机器人视觉、智能家居、遥感、显微镜、监控、国防和物联网等一系列应用中,计算成像系统记录和处理大量人类无法看到的数据,而是由基于人工智能 (AI) 的算法进行解释。在这些应用中,深度神经网络 (DNN) 正迅速成为视觉数据处理的标准算法方法 1-3。这主要是因为 DNN 在所有领域都取得了最先进的结果,而且往往领先优势很大。深度学习的最新突破得益于现代图形处理单元 (GPU) 的巨大处理能力和并行性,以及海量视觉数据集的可用性,这些数据集使得 DNN 能够使用监督机器学习策略进行高效训练。然而,运行日益复杂的神经网络的高端 GPU 和其他加速器对功率和带宽的需求巨大;它们需要大量的处理时间和笨重的外形尺寸。这些限制使得在边缘设备(如摄像头、自动驾驶汽车、机器人或物联网外设)中采用 DNN 具有挑战性。以自动驾驶汽车中的视觉系统为例,它们必须使用有限的计算资源即时做出稳健的决策。高速行驶时,瞬间的决策可以决定生死。事实上,几乎所有边缘设备都会受益于更精简的计算成像系统,提供更低的延迟和尺寸、重量和功率的改进。DNN 的两个阶段(训练和推理)的计算要求非常不同。在训练阶段,DNN 被输入大量标记示例,并使用迭代方法,其参数针对特定任务进行优化。训练完成后,DNN 用于推理,其中某些输入数据(例如图像)在前馈过程中通过网络发送一次,以计算所需的结果。在某些应用中,GPU 用于推理,但由于上述原因,对于许多边缘设备而言,这是不切实际的。
AI是创新和增长的新催化剂,但是许多组织仍然忽略了网络在AI计划中的战略重要性。他们倾向于专注于计算能力和数据处理功能,即使支持计算资源的网络也是AI基础架构同样重要的组成部分。无论是在数据中心中安装还是在边缘设备上分布,稳健和高带宽网络对于无缝数据流,实时处理以及AI系统之间的有效通信至关重要。
近年来,视觉变形金刚(VIT)已成为计算机视觉任务(例如图像分类,对象检测和分割)的强大而有前途的技术。与依赖层次特征提取的卷积神经网络(CNN)不同,VIT将图像视为斑块和杠杆自我发项机制的序列。但是,它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性,广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此,一项全面的审查系统地将这些技术及其在精确,效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析,用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性,效率和硬件适应性的影响,突出了关键的挑战和新兴的研究方案,以推动Edge平台上的VIT部署,包括图形处理单元(GPU),张量处理单元(TPU)(TPU)和现场编程的门阵列(FPGAS)。目标是通过当代指南,以优化VIT,以在边缘设备上进行有效部署,以激发进一步的研究。
近年来,视觉变形金刚(VIT)已成为计算机视觉任务(例如图像分类,对象检测和分割)的强大而有前途的技术。与依赖层次特征提取的卷积神经网络(CNN)不同,VIT将图像视为斑块和杠杆自我发项机制的序列。但是,它们的高计算复杂性和内存要求对资源受限的边缘设备部署构成重大挑战。为了解决这些局限性,广泛的研究集中在模型压缩技术和硬件感知加速策略上。尽管如此,一项全面的审查系统地将这些技术及其在精确,效率和硬件适应性方面进行了对边缘部署的适应性的权衡。这项调查通过提供模型压缩技术的结构化分析,用于推理边缘的软件工具以及VIT的硬件加速策略来弥合此差距。我们讨论了它们对准确性,效率和硬件适应性的影响,突出了关键的挑战和新兴的研究方案,以推动Edge平台上的VIT部署,包括图形处理单元(GPU),张量处理单元(TPU)(TPU)和现场编程的门阵列(FPGAS)。目标是通过当代指南,以优化VIT,以在边缘设备上进行有效部署,以激发进一步的研究。
摘要 —人工智能 (AI) 在语音处理、图像分类到药物发现等众多领域取得了令人瞩目的突破。这得益于数据的爆炸式增长、机器学习 (尤其是深度学习) 的进步以及强大计算资源的便捷获取。特别是,边缘设备 (如物联网设备) 的大规模部署产生了前所未有的数据规模,这为在网络边缘推导准确模型和开发各种智能应用提供了机会。然而,由于信道质量参差不齐、流量拥塞和/或隐私问题以及巨大的能耗,如此庞大的数据无法全部发送到云端进行处理。通过将 AI 模型的推理和训练过程推送到边缘节点,边缘 AI 已成为一种有前途的替代方案。边缘 AI 需要边缘设备 (如智能手机和智能汽车) 与无线接入点和基站的边缘服务器之间的密切合作,但这会导致繁重的通信开销。在本文中,我们全面概述了克服这些通信挑战的各种技术的最新发展。具体来说,我们首先确定了边缘 AI 系统中的关键通信挑战。然后,我们从算法和系统的角度介绍了用于网络边缘训练和推理任务的通信高效技术。我们还强调了未来的潜在研究方向。
由于卫星部件尺寸和成本的减小,卫星的使用范围越来越广。因此,一些规模较小的组织已经有能力部署卫星,并在卫星上运行各种数据密集型应用程序。一种流行的应用是图像分析,用于检测陆地、冰、云等。用于地球观测。然而,部署在卫星上的设备的资源受限性质为这种资源密集型应用带来了额外的挑战。在本文中,我们介绍了为该卫星构建图像处理单元 (IPU) 的工作和经验教训。我们首先强调基于部署卫星对在轨卫星图像进行机器学习的资源限制,包括所需的延迟、功率预算和推动这种解决方案需求的网络带宽限制。然后,我们研究了各种边缘设备(比较 CPU、GPU、TPU 和 VPU)在卫星上进行基于深度学习的图像处理的性能。我们的目标是确定在工作负载发生变化时具有灵活性的设备,同时满足卫星的功率和延迟限制。我们的结果表明,ASIC 和 GPU 等硬件加速器对于满足延迟要求至关重要。但是,带有 GPU 的最先进的边缘设备可能会消耗过多的功率,无法部署在卫星上。
由于卫星部件尺寸和成本的减小,卫星的使用范围越来越广。因此,一些规模较小的组织已经有能力部署卫星,并在卫星上运行各种数据密集型应用程序。一种流行的应用是图像分析,用于检测陆地、冰、云等,以进行地球观测。然而,卫星中部署的设备的资源受限性质给这种资源密集型应用带来了额外的挑战。在本文中,我们介绍了为卫星构建图像处理单元 (IPU) 的工作和经验教训。我们首先研究各种边缘设备(比较 CPU、GPU、TPU 和 VPU)在卫星上进行基于深度学习的图像处理的性能。我们的目标是确定能够实现准确结果并在工作负载变化时具有灵活性的设备,同时满足卫星的功率和延迟限制。我们的结果表明,ASIC 和 GPU 等硬件加速器对于满足延迟要求至关重要。然而,最先进的配备 GPU 的边缘设备可能会消耗过多的电力,无法部署在卫星上。然后,我们使用从性能分析中获得的结果来指导即将进行的卫星任务的 IPU 模块的开发。我们详细介绍了如何将此类模块集成到现有的卫星架构中,以及利用此模块支持各种任务所需的软件。