使用 AWS Graviton 优化 Mobileye 的 REM™:重点关注 ML 推理和 Triton 集成

在这篇文章中,我们重点关注 REM™ 系统的一部分:自动识别道路结构的变化,我们将其称为变化检测。我们将分享我们构建和部署变更检测解决方案的旅程,其核心是名为 CDNet 的深度学习模型。我们将分享在构建和部署基于深度学习 (DL) 模型的大规模、高度并行化算法管道时的现实决策和权衡,重点是效率和吞吐量。

来源:亚马逊云科技 _机器学习
本文由 Mobileye 首席工程师 Chaim Rand、软件高级首席工程师 Pini Reisman 和性能和技术创新工程师 Eliyah Weinberg 撰写。 Mobileye 团队衷心感谢 AWS 的 Sunita Nadampalli 和 Guy Almog 对此解决方案和这篇文章做出的贡献。Mobileye 正在通过结合开创性的 AI、丰富的实际经验、对当今先进驾驶系统的实用愿景以及未来的自主移动性,推动全球向更智能、更安全的移动性发展。道路体验管理™ (REM™) 是 Mobileye 自动驾驶生态系统的重要组成部分。 REM™ 负责创建和维护高精度、众包的全球道路网络高清 (HD) 地图。这些地图对于以下方面至关重要:精确的车辆定位实时导航识别道路状况的变化增强整体自动驾驶能力Mobileye 道路体验管理 (REM)™(来源:https://www.mobileye.com/technology/rem/)地图生成是一个连续的过程,需要收集和处理数百万辆配备 Mobileye 技术的车辆的数据,使其成为计算密集型操作,需要高效且可扩展的解决方案。在这篇文章中,我们重点关注 REM™ 系统的一部分:自动识别我们将其称为变化检测的道路结构。我们将分享我们构建和部署变更检测解决方案的旅程,其核心是名为 CDNet 的深度学习模型。我们将涵盖以下几点:在 GPU 上运行与在 CPU 上运行之间的权衡,以及为什么我们当前的解决方案在 CPU 上运行。使用模型推理服务器(特别是 Triton 推理服务器)的影响。在基于 AWS Graviton 的 Amazon Elastic Compute Cloud (Amazon EC2) 实例上运行更改检测管道及其对部署灵活性的影响,最终导致超过 2