Tealium 如何使用 AWS 生成式 AI 服务与 Ragas 和 Auto-Instruct 一起构建聊天机器人评估平台

在本文中,我们通过自动执行以下任务来说明生成式 AI 在 Tealium 与 A​​WS 生成式 AI 创新中心 (GenAIIC) 团队合作中的重要性:1/ 基于由 Amazon Bedrock 提供支持的 Ragas 存储库评估 RAG 系统的检索器和生成的答案,2/ 使用基于 Auto-Instruct 存储库的自动提示工程技术为每个问答对生成改进的指令。指令是指给予模型以指导生成响应的一般方向或命令。这些指令是使用 Amazon Bedrock 上的 Anthropic 的 Claude 生成的,4/ 为基于人机交互的反馈机制提供 UI,以补充由 Amazon Bedrock 提供支持的评估系统。

来源:亚马逊云科技 _机器学习

本帖由 Tealium 的 Varun Kumar 共同撰写

本帖由 Tealium 的 Varun Kumar 共同撰写

检索增强生成 (RAG) 管道因基于作为上下文一部分输入的外部数据生成特定于域的输出而广受欢迎。然而,评估和改进此类系统存在挑战。两个开源库 Ragas(用于 RAG 评估的库)和 Auto-Instruct 使用 Amazon Bedrock 来支持评估和改进 RAG 的框架。

Amazon Bedrock

在本文中,我们通过自动执行以下操作来说明生成式 AI 在 Tealium 与 A​​WS 生成式 AI 创新中心 (GenAIIC) 团队合作中的重要性:

生成式 AI AWS 生成式 AI 创新中心 (GenAIIC)
    基于由 Amazon Bedrock 提供支持的 Ragas 存储库评估 RAG 系统的检索器和生成的答案。使用基于 Auto-Instruct 存储库的自动提示工程技术为每个问答对生成改进的指令。指令是指给予模型以指导生成响应的一般方向或命令。这些指令是使用 Amazon Bedrock 上的 Anthropic 的 Claude 生成的。为基于人机交互的反馈机制提供 UI,以补充由 Amazon Bedrock 提供支持的评估系统。
  • 基于由 Amazon Bedrock 提供支持的 Ragas 存储库评估 RAG 系统的检索器和生成的答案。
  • Ragas 存储库
  • 使用基于 Auto-Instruct 存储库的自动提示工程技术为每个问答对生成改进的指令。指令是指给予模型以指导生成响应的一般方向或命令。这些指令是使用 Amazon Bedrock 上的 Anthropic 的 Claude 生成的。
  • Auto-Instruct 存储库
  • 为基于人机交互的反馈机制提供 UI,以补充由 Amazon Bedrock 提供支持的评估系统。
  • Tealium 背景和用例

    Tealium FAISS