队列管理关键词检索结果

亚马逊云科技 _机器学习
2024年10月29日 19:41

自动化 Amazon Bedrock 批量推理：构建可扩展且高效的管道

Automate Amazon Bedrock batch inference: Building a scalable and efficient pipeline

虽然批量推理提供了许多好处，但每个区域每个模型最多只能提交 10 个批量推理作业。为了解决这一问题并增强您对批量推理的使用，我们使用 AWS Lambda 和 Amazon DynamoDB 开发了一个可扩展的解决方案。本文将指导您实施一个队列管理系统，该系统会自动监控可用的作业槽位并在有槽位时提交新作业。