摘要 - 在自动移动和机器人系统的感知框架内,对Lidars通常生成的3D点云的语义分析是许多应用程序的关键,例如对象检测和识别以及场景重建。场景语义分割可以通过将3D空间数据与专门的深神经网络直接整合在一起来实现。尽管这种类型的数据提供了有关周围环境的丰富几何信息,但它也提出了许多挑战:其非结构化和稀疏性质,不可预测的规模以及苛刻的计算要求。这些特征阻碍了实时半分析,尤其是在资源受限的硬件 - 构造方面,构成了许多机器人应用的主要计算组件。因此,在本文中,我们研究了各种3D语义分割方法,并分析了其对嵌入式NVIDIA JETSON平台的资源约束推断的性能和能力。我们通过标准化的培训方案和数据增强进行了公平的比较,为两个大型室外数据集提供了基准的结果:Semantickitti和Nuscenes。
摘要 - 本文探讨了在边缘平台上部署基于Ma-Chine学习(ML)基于基于的对象检测和分割模型的问题,以实现用于自动水下汽车(AUV)的实时Caveline检测,用于水洞探索和映射。我们专门研究了三个ML模型,即U-NET,Vision Transformer(VIT)和YOLOV8,该模型部署在三个边缘平台上:Raspberry PI-4,Intel Neural Compute Stick 2(NCS2)和Nvidia Jetson Nano。实验结果揭示了模型准确性,处理速度和能耗之间的明确权衡。最准确的模型已显示为U-NET,其与联合(IOU)值相比为85.53 f1分数和85.38的交集。同时,分别在高功率和低功率模式下运行的Jetson Nano上的Yolov8模型实现了最高的推理速度和最低的能耗。论文中提供的全面定量分析和比较结果突出了重要的细微差别,这些细微差别可以指导水下机器人上的caveline检测系统的部署,以确保在水下洞穴探索和映射任务期间安全可靠的AUV导航。
Edgepoint AI是NVIDIA™Jetson Xavier™和Orin™NX的载体板,设计为高度可配置和开放的平台。EdgePoint AI支持多种用例和摄入选项,用于开发和部署AI/ML模型以及边缘的流处理管道。这包括能够通过RF,Vita-49,光学和工业视觉(Cameralink)应用的PCIE Gen 3x8插槽轻松与EDT的I/O接口配对。
•在计算机科学/电气工程领域完成的研究/培训或类似的•非常好的Python知识•深度学习领域的实践经验和热情•检查现代人工神经网络•计算机视觉领域的基本知识•独立融入到新的主题领域•高动力和快速理解•知识•知识••其他机器学习学科或编程语言(例如matlab)▪数字信号处理,特别是图像处理和音频信号处理▪NXPIMX8,NVIDIA JETSON XAVIER/NANO或视频技术▪C++知识
在边缘本地运行语音识别模型非常困难(例如,在飞机或其他车辆内,无需连接到云端)。典型的语言处理 AI 系统利用大量服务器基础设施来处理语音,而 Appareo 目前在 iPad 或 iPhone 上运行 ATC Transcription。此外,该模型能够托管在其他硬件平台上,例如 nVidia Jetson Nano 或 Appareo 制造的定制解决方案(见下图)。这使得 ATC Transcription 可以在网络覆盖范围之外运行,安全可靠地执行其功能。
上个月,Kudan 参加了在圣何塞举行的 NVIDIA GPU 技术大会 (GTC) 和 Jetson 合作伙伴日。这是一个绝佳的机会,可以亲自了解生成式人工智能和更广泛的机器人领域的最新发展,加深我们对 NVIDIA 对市场趋势的看法,并推进与 NVIDIA 机器人团队和其他潜在合作者的合作。目前,NVIDIA 的大部分增长都集中在数据中心,反映了生成式 AI 的现状,其中计算密集型模型占主导地位。大规模语言模型 (LLM) 通常具有数十亿个参数,而 GPT-4 等最新进展估计将达到万亿个参数大关。 然而,谈到机器人加速计算和边缘计算,我们仍处于早期阶段。小型语言模型 (SLM) 和微型视觉语言模型 (VLM) 可以在 NVIDIA Jetson 设备(包括 Orin Nano)上运行。然而,边缘计算机预计要处理多项任务,而且机器人和边缘设备执行的任务的关键性要求对错误的容忍度要低得多。聊天机器人可以犯一些错误,但仍然可以为用户提供价值,但是当机器人犯错时,代价可能是灾难性的。 NVIDIA 对边缘计算和机器人技术的未来的乐观前景正在指导我们在这些领域的战略投资。尽管目前还处于早期阶段且面临诸多挑战,但边缘人工智能的市场机会无疑是巨大的。尽管这一市场扩张的时机仍不确定,但它所代表的机遇规模却是显而易见的。
摘要最近,使用深度学习和低计算的边缘设备用于分析基于视频的系统,尤其是在智能运输系统(ITS)的领域中,大幅增加了。在其开发低计算和准确的车辆计数系统中,计算机视觉技术的一种有希望的应用是可以用来消除对外部云计算资源的依赖性的。本文提出了一种紧凑,可靠和实时的车辆计数解决方案,该解决方案可以在低计算需求边缘计算设备上部署。该系统使用自定义的车辆检测算法,基于您仅查看一次版本8 nano(Yolov8n),并结合了深层关联度量标准(DeepSort)对象跟踪算法和有效的车辆计数方法,可在高速公路场景中准确计数车辆的准确计数。该系统经过训练,可以检测,跟踪和计算四个不同的车辆类别,即:汽车,摩托车,公共汽车和卡车。所提出的系统能够达到平均车辆检测平均平均精度(MAP)分数为97.5%,车辆计数精度得分为96.8%,平均速度为每秒19.4帧的平均速度(FPS),同时均被部署在紧凑型NVIDIA NVIDIA JETSON JETSON NANO NANO EDGE计算设备上。就准确性和速度而言,所提出的系统优于其他先前提出的工具。©(2024),(艾哈迈德·达兰大学)。保留所有权利。
在精准农业、林业管理、安全和监控等应用中,在无人机 (UAV) 上安装多个高光谱成像传感器的能力至关重要。imec UAV 平台由强大的嵌入式计算平台支持,该平台具有 NVIDIA Jetson GPU、集成存储、通过标准无人机万向节接口(如(但不限于)DJI Matrice 600)实现无线和有线控制连接。该 UAV 系统解决方案的设计理念是使最终用户能够从基于无人机的系统实时获取、处理和以视频速率下载应用数据。