使用 Amazon SageMaker 和 Qualcomm AI Hub 在边缘设备上训练、优化和部署模型

在本文中,我们将介绍一种使用 Amazon SageMaker 和 Qualcomm AI Hub 在边缘进行端到端模型定制和部署的创新解决方案。

来源:亚马逊云科技 _机器学习

这篇文章是由Qualcomm的Rodrigo Amaral,Ashwin Murthy和Meghan Stronach共同撰写的。

在这篇文章中,我们使用Amazon SageMaker和Qualcomm AI Hub引入了一种创新解决方案,用于在边缘进行端到端模型自定义和部署。这种无缝的云到边缘AI开发体验将使开发人员能够创建优化,高性能和自定义的托管机器学习解决方案,您可以在其中带来自己的模型(BYOM),并带上自己的数据(BYOD),以满足整个行业的各种业务需求。从实时分析和预测维护到个性化的客户体验和自主系统,这种方法可以满足各种需求。

Amazon Sagemaker Qualcomm AI Hub

我们通过引导您在Amazon Web Services(AWS)上使用自定义数据集在Amazon Web Services(AWS)上浏览如何微调Yolov8的综合分步指南来演示该解决方案。该过程使用单个ML.G5.2XLARGE实例(提供一个NVIDIA A10G张量GPU)与SageMaker进行微调。经过微调后,我们向您展示了如何使用高通AI枢纽优化该模型,以便可以跨Snapdragon和Qualcomm平台提供跨越边缘设备的部署。

yolov8 Amazon Web服务(AWS)

业务挑战

今天,许多开发人员使用AI和机器学习(ML)模型来解决从智能识别和自然语言处理(NLP)到AI助手的各种业务案例。虽然开源模型提供了一个很好的起点,但它们通常无法满足开发应用程序的特定需求。这是模型自定义变得必不可少的地方,使开发人员可以根据其独特的要求量身定制模型,并确保特定用例的最佳性能。

Amazon Sagemaker和Qualcomm AI Hub如何帮助?

高通AI中心已经为800多家公司提供了服务,并继续在可用的模型,支持的平台等方面扩展其产品。

解决方案体系结构

先决条件