详细内容或原文请订阅后点击阅览

使用自定义连接器从Kafka到Amazon Bedrock知识库的流摄入数据

2025年4月18日 17:21 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们使用Amazon Managed Streaming为Apache Kafka（Amazon MSK）构建的自定义连接器和主题实现了一个带有亚马逊基岩知识库的RAG架构，该架构可能有兴趣了解股票价格趋势。

来源:亚马逊云科技 _机器学习
检索增强发电（RAG）通过将生成性AI模型的功能与来自外部数据源的信息相结合，而不是仅依靠模型的内置知识来增强AI响应。在这篇文章中，我们展示了亚马逊基地知识库中的自定义数据连接能力，这使得使用自定义输入数据构建抹布工作流变得直接。通过这种能力，亚马逊基础知识基础支持流式数据的摄入，这意味着开发人员可以通过直接的API呼叫在其知识库中添加，更新或删除数据。考虑到ClickStream数据，信用卡刷新，物联网（IOT）传感器数据，日志分析和商品价格，当前数据和历史趋势的示例，这些趋势都重要，以使其成为重要的决策。以前，要提供此类关键数据输入，您必须在受支持的数据源中首次阶段，然后启动或安排数据同步作业。根据数据的质量和数量，完成此过程的时间有所不同。使用自定义数据连接器，您可以从自定义数据源中快速摄入特定的文档，而无需完整的同步流数据流数据，而无需中介存储。通过避免耗时的完整同步和存储步骤，您可以更快地访问数据，减少延迟并提高应用程序性能。此功能块和将输入数据转换为嵌入到嵌入式，并使用您选择的Amazon Bedrock型号将所有内容存储在后端矢量数据库中。该自动化适用于新创建和现有数据库，简化您的工作流程，因此您可以专注于构建AI应用程序，而不必担心编排数据分解，嵌入式生成或矢量商店PROFISIONINing
数据 输入数据 删除 AI 输入 重要的 信用卡 构建 模型的 知识库 数据连接 考虑到 存储 数据流 数据输入 矢量 亚马逊 数据同步 完整的 增强 提高 数据库 数据源 自动化 使用 嵌入式 根据 支持的 应用程序 直接的 矢量数据 自定义 开发人员 意味着 传感器 数据转换 连接器 功能块 摄入 特定的 选择的 质量