© 版权所有 2021 Xilinx, Inc. Xilinx、Xilinx 徽标、Artix、ISE、Kintex、Spartan、Virtex、Vivado、Zynq 和本文包含的其他指定品牌是 Xilinx 在美国和其他国家/地区的商标。AMBA、AMBA Designer、ARM、ARM1176JZ-S、CoreSight、Cortex 和 PrimeCell 是 ARM 在欧盟和其他国家/地区的商标。PCIe 和 PCI Express 是 PCI-SIG 的商标,经许可使用。所有其他商标均为其各自所有者的财产。在美国印刷。SF0421
随着边缘计算平台变得更加广泛,新公司加入了该领域,因此很难知道在任何特定情况下要使用哪个平台。这些系统通常包含一系列不同的计算体系结构和不同的硬件加速技术,这在选举时可能会令人困惑,以将它们整合为较大设计中的硬件加速器。由于这些平台的效率,它们通常可以为机器人技术和其他领域提供创造性的解决问题的方法,在这种情况下,很久以前的计算在边缘上并不常见。本文深入研究了领先的硬件加速器,分析了三个平台的性能和功率使用:KRIA KV260,Jetson Nano和RTX 3060。实验是使用两个神经网络模型-Resnet-50进行的,并进行了YOLO训练以进行图像识别任务。与其他平台相比,我们的发现在每瓦的推理速度方面强调了基于FPGA的平台的效率。
Xilinx ® Kria™ KV260 Vision AI 入门套件由非量产版 K26 系统级模块 (SOM)、载卡和散热解决方案组成。SOM 非常紧凑,仅包含关键组件,例如基于 Zynq ® UltraScale+™ MPSoC 的硅片器件、内存、启动和安全模块。载卡允许各种接口选项,并包括电源解决方案和用于摄像头、显示器和 microSD 卡的网络连接器。散热解决方案具有散热器、散热器盖和风扇。Kria KV260 Vision AI 入门套件旨在为客户提供一个平台来评估他们的目标应用,并最终使用 Xilinx K26 SOM 设计自己的载卡。虽然 SOM 本身在各个市场和应用中具有广泛的 AI/ML 适用性,但 Kria KV260 Vision AI 入门套件的目标应用包括智能城市和机器视觉、安全摄像头、零售分析和其他工业应用。
摘要 随着人工智能 (AI) 和机器学习 (ML) 算法的不断进步,许多高计算应用程序现在都部署在边缘设备上。因此,需要一种高效的硬件,既能高效执行复杂算法,又能适应这项技术的快速改进。Xilinx® Kria™ K26 SOM 旨在满足在边缘设备上高效执行 ML 应用程序的需求。在本白皮书中,研究了各种 ML 模型和实时应用程序的性能,并将其与 Nvidia Jetson Nano 和 Nvidia Jetson TX2 进行了比较。Xilinx 的结果显示,K26 SOM 的性能优势大约是 Nvidia Jetson Nano 的 3 倍。与 Nvidia Jetson TX2 相比,它的性能/瓦特优势也超过 2 倍。K26 SOM 的低延迟和高性能深度学习处理单元 (DPU) 比 Nano 提供了 4 倍或更大的优势,并且具有 SSD MobileNet-v1 等网络,使 Kria SOM 成为开发 ML 边缘应用程序的理想选择。
©版权所有2022 Advanced Micro Devices,Inc。保留所有权利。xilinx,Xilinx徽标,AMD,AMD箭头徽标,Alveo,Alveo,Artix,Kintex,Kira,Kria,Kria,Spartan,Spartan,Versal,Vitis,Vitis,Vivity,VivaDo,Vivado,Zynq,Zynq和其他指定的品牌以及此处包括的其他指定品牌是该产品的其他产品的商标,仅在此类产品中使用了其他产品名称。Amba,Amba设计师,ARM,ARM1176JZ-S,Coresight,Cortex和Primecell是欧盟和其他国家 /地区的ARM商标。PCIE和PCI Express是PCI-SIG的商标,并在许可下使用。在美国印刷AC03-9-22
K24 开发套件为开发针对 AMD Kria K24 SOM(专注于 Zynq UltraScale+ 设备)的设计提供了硬件环境。K24 开发套件提供许多系统通用的功能,包括 LPDDR4 内存、10/100/1000 以太网 PHY、USB2.0、多个扩展接口和 UART 接口。K24 开发套件功能的详细信息在后面的功能描述部分中描述。
我们使用PYNQ-Z2板上HLS4ML框架的初始实验取得了令人鼓舞的结果,证明了在FPGA上部署复杂的神经网络的可行性。在KRIA KV-260和Ultra96-V2板上成功部署Resnet模型后,我们现在正在探索其与VIT模型的兼容性,并识别任何不支持的参数。测试变压器模型:使用NN2FPGA实现SWIN TF模型,重点是保持准确性。选择FPGA平台:选择最佳的FPGA用于部署,比较云和边缘选项。比较GPU和FPGA:评估在GPU和FPGA上部署的模型的性能和能源使用。
© 版权所有 2022 Advanced Micro Devices, Inc. 保留所有权利。Xilinx、Xilinx 徽标、AMD、AMD 箭头徽标、Alveo、Artix、Kintex、Kria、Spartan、Versal、Vitis、Virtex、Vivado、Zynq 和本文中包括的其他指定品牌是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于识别目的,可能是其各自公司的商标。AMBA、AMBA Designer、ARM、ARM1176JZ-S、CoreSight、Cortex 和 PrimeCell 是 ARM 在欧盟和其他国家/地区的商标。PCIe 和 PCI Express 是 PCI-SIG 的商标,经许可使用。在美国印刷 SF81722
© 版权所有 2021 Advanced Micro Devices, Inc. 保留所有权利。Xilinx、Xilinx 徽标、AMD、AMD 箭头徽标、Alveo、Artix、Kintex、Kria、Spartan、Versal、Vitis、Virtex、Vivado、Zynq 和本文中包含的其他指定品牌是 Advanced Micro Devices, Inc. 的商标。本出版物中使用的其他产品名称仅用于识别目的,可能是其各自公司的商标。AMBA、AMBA Designer、ARM、ARM1176JZ-S、CoreSight、Cortex 和 PrimeCell 是 ARM 在欧盟和其他国家/地区的商标。PCIe 和 PCI Express 是 PCI-SIG 的商标,经许可使用。在美国印刷。AC11-8-21
这是一个简单的演示,您可以和客户玩石头剪刀布。它是在配备 AMD 的 SOM(系统模块)“Kria™ K26 SoM”的“KR260 机器人入门套件”上实现的。 输入:请在USB摄像头前展示“石头、剪刀、布”。 处理:在ROS2(机器人操作系统)下,AI推理处理单元与机械手控制单元应用程序分离,对输入图像进行“手势分类”,输出PWM信号控制机械手。 输出:经过上述处理后,产生以下两个输出。输出1:将“手势分类”的结果输出到显示器。 ⇒ 根据顾客所出的手牌(石头、剪刀、布),通过AI推理,即AI的预测,显示获胜手牌。 输出2:根据处理结果,控制“机械手”中实现的伺服电机,帮助客户获胜。 ⇒ 下面的例子中,视频输入是“石头”,所以“机械手”会变成“布”的形状来获胜。