详细内容或原文请订阅后点击阅览
使用 Amazon Managed Service for Apache Flink 通过在线学习对流式时间序列数据进行异常检测
在本文中,我们演示了如何使用 Amazon Managed Service for Apache Flink 和其他 AWS 托管服务为流式传输时间序列数据构建强大的实时异常检测解决方案。
来源:亚马逊云科技 _机器学习时间序列数据是一个独特的类别,将时间纳入其结构中的基本元素。在时间序列中,数据点经常按常规间隔收集,并且通常表现出某些模式,例如趋势,季节性变化或周期性行为。时间序列数据的常见示例包括销售收入,系统性能数据(例如CPU利用率和内存使用情况),信用卡交易,传感器读取和用户活动分析。
时间序列异常检测是识别随着时间时间展开的数据中意外或异常模式的过程。当数据点显着偏离预期模式时,发生异常,也称为异常。
离群值在某个时间序列中,例如那些定义明确的预期范围(例如机器工作温度或CPU),基于阈值的方法可能就足够了。但是,在诸如欺诈检测和销售等领域,由于无法在复杂关系中捕捉异常,因此简单规则不足,需要更复杂的技术来识别意外情况。
在这篇文章中,我们演示了如何使用Amazon托管服务为Apache Flink和其他AWS托管服务构建强大的实时异常检测解决方案,以流式传输时间序列数据。
Apache Flink的Amazon托管服务解决方案概述
以下图说明了异常检测堆栈解决方案的核心结构。
AWS CloudFormation Amazon托管apache kafka此解决方案使用云形式模板,该模板采用了MSK Broker端点和主题,AWS Identity和Access Management(IAM)角色以及与虚拟私有云(VPC)配置有关的其他参数。该模板创建了基本资源,例如Apache Flink应用程序和客户帐户中的Amazon Sagemaker实时端点。
AWS身份和访问管理 Amazon Sagemaker anoalyDetection-sup-up-canvas@amazon.com