详细内容或原文请订阅后点击阅览
使用 Amazon SageMaker 进行近乎实时的批量推理的定制模型监控
在本文中，我们介绍了一个框架，用于自定义使用 Amazon SageMaker Model Monitor 来处理近乎实时推理场景的多负载推理请求。SageMaker Model Monitor 监控生产中 SageMaker ML 模型的质量。尽早主动检测模型质量偏差使您能够采取纠正措施，例如重新训练模型、审核上游系统或修复质量问题，而无需手动监控模型或构建其他工具。
来源:亚马逊云科技 _机器学习现实世界的应用程序对其人工智能和机器学习（AI/ML）解决方案的推理要求有所不同，以优化性能并降低成本。示例包括财务系统处理交易数据流，推荐引擎处理用户活动数据以及计算机视觉模型处理视频帧。在这些情况下，对使用Amazon SageMaker进行近实时批次推断的自定义模型监视至关重要，确保预测的质量不断监控，并迅速检测到任何偏差。
Amazon Sagemaker在这篇文章中，我们提出了一个框架，以自定义使用Amazon Sagemaker模型监视器来处理多付额推理请求，以获取近实时推理方案。 Sagemaker模型监视器监视生产中萨吉式ML模型的质量。早期和主动检测模型质量中的偏差使您能够采取纠正措施，例如再培训模型，审核上游系统或解决质量问题，而无需手动监视模型或构建其他工具。 SageMaker Model Monitor为数据质量，模型质量，模型预测中的偏置漂移以及功能归因的漂移提供了监视功能。 SageMaker Model Monitor可以很好地适应常见的AI/ML用例，并在给定边缘案例要求上提供了高级功能，例如监视自定义指标，处理地面真相数据或处理推理数据捕获。
Amazon Sagemaker模型监视器在这篇文章中，我们提供了一个与SageMaker Model Monitor的BYOC框架，以启用SageMaker端点数据捕获，使用地面真相数据并输出自定义业务指标的自定义有效负载处理（例如多付额载荷请求）以获得模型质量。
解决方案概述
鉴于这些要求，我们创建了以下图中显示的BYOC框架。在此示例中，我们演示了设置一个萨吉式制造商模型监视器作业，以监视模型质量。
github repo