使用 Amazon SageMaker 高效构建和调整自定义日志异常检测模型
在本文中,我们将引导您完成使用 Amazon SageMaker 构建自动化机制以处理您的日志数据、对其进行训练迭代以获得性能最佳的异常检测模型并将其注册到 Amazon SageMaker 模型注册表以供您的客户使用的过程。
来源:亚马逊云科技 _机器学习在本文中,我们将引导您完成使用 Amazon SageMaker 构建自动化机制的过程,以处理您的日志数据,对其进行训练迭代以获得性能最佳的异常检测模型,并将其注册到 Amazon SageMaker 模型注册表中以供您的客户使用。
Amazon SageMaker Amazon SageMaker 模型注册表基于日志的异常检测涉及识别日志数据集中的异常数据点,以发现执行异常以及可疑活动。 它通常包括将日志数据解析为向量或机器可理解的标记,然后您可以使用它们来训练自定义机器学习 (ML) 算法以确定异常。
您可以调整 ML 算法的输入或超参数,以获得产生性能最佳模型的组合。 此过程称为超参数调整,是机器学习的重要组成部分。选择合适的超参数值对于成功至关重要,而且通常由专家反复执行,这可能非常耗时。除此之外,还有与数据相关的一般过程,例如从适当的来源加载数据、使用自定义逻辑解析和处理数据、将解析后的数据存储回存储,以及再次加载以训练自定义模型。此外,这些任务需要针对每个超参数组合重复执行,这在数据增加和新补充步骤时无法很好地扩展。您可以使用 Amazon SageMaker Pipelines 将所有这些步骤自动化为单个执行流程。在这篇文章中,我们将演示如何设置整个工作流程。
超参数 超参数调整 Amazon SageMaker 管道解决方案概述
工作流包括以下步骤:
run()