详细内容或原文请订阅后点击阅览

使用AWS步骤函数构建无服务器的Amazon Bedrock Batch Job工作编排工作流程

2025年9月2日 18:55 33 Comments
X Twitter Instagram Mail

在这篇文章中，我们引入了一种灵活且可扩展的解决方案，该解决方案简化了批处理推理工作流程。该解决方案提供了一种高度可扩展的方法来管理您的FM批处理推理需求，例如为数百万个文档生成嵌入方式，或使用大型数据集运行自定义评估或完成任务。

来源:亚马逊云科技 _机器学习
随着组织越来越多地采用基金会模型（FMS）来进行人工智能和机器学习（AI/ML）工作量，因此有效地管理大规模推理操作变得至关重要。亚马逊Bedrock支持两种大规模推理模式的两种类型：实时推理和批次推断，涉及处理不需要立即结果的大量数据集。MAZONBEDROCK BATCENPERTION是一种具有成本效益的解决方案，是一种具有50％的折扣的解决方案，可提供50％的折扣，使其非常适合高量化的时间，使其适用于高频，适用于时空，时间效率为时效工作量。但是，大规模实施批处理推断伴随着自己的一系列挑战，包括管理输入格式和工作配额，协调并发执行以及处理后处理任务。开发人员需要一个可靠的框架来简化这些操作。在这篇文章中，我们引入了一种灵活且可扩展的解决方案，简化了批处理推理工作流。 This solution provides a highly scalable approach to managing your FM batch inference needs, such as generating embeddings for millions of documents or running custom evaluation or completion tasks with large datasets.Solution overviewThe following diagram details a broad overview of the automated workflow, which includes three main phases: preprocessing of input datasets (for example, prompt formatting), execution of batch inference jobs in parallel, and解析模型输出的后处理。该解决方案提供了一个灵活且可扩展的框架，以简化批处理编排。考虑到简单的配置输入，该AWS云开发套件（AWS CDK）堆栈中部署的步骤功能状态计算机处理数据集的预处理，启动并行批处理作业并后处理输出。在我们的特定用例中，我们使用开源DataSet Simperet数据集中的220万行数据。拥抱脸上的Simplecot数据集是旨在恶魔
自己的 输出的 inference 成本效益 集中的 大规模 推理 数据 一系列 计算机 批处理 工作 处理数据 人工智能 处理 考虑到 50 解决方案 开发人员 datasets 输入 后处理 可靠的 量化的 预处理 简单的 管理 扩展的 batch 时间 结果的 数据集 行数据 工作量 机器学习 简化