详细内容或原文请订阅后点击阅览
自动化 Amazon Bedrock 批量推理：构建可扩展且高效的管道
虽然批量推理提供了许多好处，但每个区域每个模型最多只能提交 10 个批量推理作业。为了解决这一问题并增强您对批量推理的使用，我们使用 AWS Lambda 和 Amazon DynamoDB 开发了一个可扩展的解决方案。本文将指导您实施一个队列管理系统，该系统会自动监控可用的作业槽位并在有槽位时提交新作业。
来源:亚马逊云科技 _机器学习Amazon Bedrock是一项全面管理的服务，可从领先的AI公司，例如AI21实验室，众多，众多，元，元，Mista，Mistail AI，稳定性AI和Amazon等领先的AI公司的高性能基础模型（FMS）选择，并通过单个API以及一系列能力，以及与安全性AI的广泛应用程序以及负责任的AI II相同。
亚马逊基岩 生成ai在亚马逊基岩中的批处理推理在不需要实时结果时使用基础模型（FMS）有效地处理大量数据。它的理想是不敏感的工作负载，例如获得嵌入，实体提取，FM-AS-AS-Gudge评估以及用于业务报告任务的文本分类和摘要。关键优势是其成本效益，与按需价格相比，批量推理工作量以50％的折扣收取。有关当前支持AWS区域和模型的批处理推断，请参阅支持区域和模型。
Amazon基岩中的批次推理 批处理推理的支持区域和模型 AWS区域尽管批处理推断提供了许多好处，但每个区域每个模型提交的批次推理作业都限制为10批次推理。为了解决此考虑并增强您对批处理推理的使用，我们使用AWS Lambda和Amazon DynamoDB开发了可扩展的解决方案。这篇文章指导您实施一个队列管理系统，该系统自动监视可用的工作插槽，并在插槽可用时提交新作业。
aws lambda Amazon DynamoDB我们带您浏览我们的解决方案，详细介绍了Lambda功能的核心逻辑。最后，您将了解如何实施此解决方案，以便可以最大程度地提高亚马逊基地上的批处理推理工作流的效率。有关如何启动亚马逊基岩批处理推理作业的说明，请参阅使用批次推理提高呼叫中心效率，以使用亚马逊基岩进行成绩单摘要。