Optimizing PyTorch Model Inference on AWS Graviton
在 CPU 上加速 AI/ML 的技巧 — 第 2 部分优化 AWS Graviton 上的 PyTorch 模型推理一文首先出现在 Towards Data Science 上。
Optimizing Mobileye’s REM™ with AWS Graviton: A focus on ML inference and Triton integration
在这篇文章中，我们重点关注 REM™ 系统的一部分：自动识别道路结构的变化，我们将其称为变化检测。我们将分享我们构建和部署变更检测解决方案的旅程，其核心是名为 CDNet 的深度学习模型。我们将分享在构建和部署基于深度学习 (DL) 模型的大规模、高度并行化算法管道时的现实决策和权衡，重点是效率和吞吐量。
Warner Bros. Discovery achieves 60% cost savings and faster ML inference with AWS Graviton
Warner Bros. Discovery (WBD) 是一家全球领先的媒体和娱乐公司，在电视、电影和流媒体领域创建和分发全球最具差异化、最完整的内容和品牌组合。在这篇文章中，我们介绍了我们的产品规模、实时推荐系统的人工智能 (AI)/机器学习 (ML) 推理基础设施要求，以及我们如何使用基于 AWS Graviton 的 Amazon SageMaker AI 实例来处理我们的 ML 推理工作负载并实现 60% 的成本节省不同型号的延迟改善了 7% 到 60%。
