借助 Amazon Athena 和 Amazon Quick 在 Amazon SageMaker 上释放代理 AI 分析

本文演示了 Amazon Quick 的代理 AI 助手如何使用 Amazon Simple Storage Service (Amazon S3) 作为存储、使用 Amazon SageMaker 和 AWS Glue for Lakehouse、Amazon Athena 跨多种存储格式(S3 表、Iceberg 和 Parquet)进行无服务器 SQL 查询,从而将数据分析转变为自助服务功能。

来源:亚马逊云科技 _机器学习

现代企业在从跨越 PB 级结构化和非结构化数据的庞大数据湖和湖屋中提取可行的见解方面面临着越来越多的挑战。传统分析需要 SQL、数据建模和商业智能工具方面的专业技术知识,这造成了阻碍零售、金融服务、医疗保健、旅游和酒店、制造和许多其他行业决策制定的瓶颈。该架构演示了 Amazon Quick 的代理 AI 助手如何将数据分析转变为自助服务功能。它展示了使业务用户能够查询复杂的结构化数据集并与非结构化数据混合,以找到有价值的见解,从而通过直观的自然语言界面改善其业务成果。

为了演示功能,我们使用 TPC-H 数据集作为基础构建了一个 Lakehouse。这种集成架构利用 Amazon Simple Storage Service (Amazon S3) 作为存储,利用 Amazon SageMaker 和 AWS Glue 作为 Lakehouse,利用 Amazon Athena 跨多种存储格式(S3 表、Iceberg 和 Parquet)进行无服务器 SQL 查询,并利用 Quick 的多种功能来构建仪表板和对话式 AI 代理,从而提供对数据洞察的自然语言访问。通过使用 Amazon Quick Spaces 的集成知识库,该解决方案使业务用户能够民主化 Lakehouse 数据访问,同时保留整个组织内现代数据驱动决策所需的企业级安全性、治理框架和可扩展性。

解决方案概述

下图显示了我们在本博客文章中实现的总体设计和相应的数据流。

图1:总体设计图 请参考以下步骤了解详细的端到端数据流和用户交互功能。

  • 多格式存储层:为了说明 Data Lake 和 Lakehouse 的多功能性,我们将数据保存为三种优化的存储格式:
  • 先决条件

    预览数据: