详细内容或原文请订阅后点击阅览

使用Amazon Bedrock流媒体API和AWS AppSync

2025年7月9日 16:31 33 Comments
X Twitter Instagram Mail

这篇文章演示了如何将Amazon Bedrock流媒体API与AWS AppSync订阅集成在一起，从而显着提高了AI助手响应能力和用户满意度。通过实施这种流媒体方法，全球金融服务组织将复杂查询的初始响应时间减少了约75％，从10秒到仅2-3秒，可以使用户能够在生成时查看响应，而不是等待完整的答案。

来源:亚马逊云科技 _机器学习
许多企业都在亚马逊基岩中使用大型语言模型（LLM）来从其内部数据源中获得见解。亚马逊底石是一项完全管理的服务，可从领先的AI公司，例如AI21实验室，人类，众多，元，元，Mista，Mistral AI，稳定性AI，稳定性AI和Amazon等领先的AI公司进行选择，通过单个API以及一系列广泛的功能，以及对AI的常见ai的应用程序，该竞争者的应用程序，即使他们实现了一定的ai。 API可以快速找到目标问题的答案，需要推理行动（REACT）逻辑的更复杂的查询可能需要大量时间来处理，从而对用户体验产生负面影响。在安全要求增加额外复杂性的监管行业中，此问题特别明显。例如，一个超过1.5万亿美元资产的全球金融服务组织遇到了这一确切的挑战。尽管成功实施了与多个LLM和数据源集成的对话AI系统，但他们仍需要一种可以维持其严格的安全性协议的解决方案，包括在虚拟专用云（VPC）环境（VPC）环境中运行的AWS服务以及Enterprise Oauth集成，而Enterprise Oauth Integration（Enterprise Oauth Integration）进行了整合 - 改善了复杂的查询时间。这篇文章演示了如何将AWS Appsync订阅与Amazon Bedrock流端端点相结合，以逐步提供LLM响应。我们提供了企业级实施蓝图，该蓝图可帮助受管制行业的组织保持安全合规性，同时通过立即实时响应交付优化用户体验。SultorSolution概述本文中讨论的解决方案使用AWS AppSync启动异步的对话工作流程。 AWS lambda fu
应用程序 ai AWS 广泛的 一定的 逻辑的 复杂的 管理的 解决方案 行业 组织 一系列 需要 使用 查询 体验 竞争者 稳定性 时间 Amazon 异步的 合规性 LLM AI 用户 数据源 Oauth API 严格的 集成的 领先的 运行的 实验室 蓝图 安全性 安全要求 复杂性 Enterprise