详细内容或原文请订阅后点击阅览

使用llmperf和litellm

2025年3月13日 14:09 33 Comments
X Twitter Instagram Mail

这篇文章开始了一个博客系列，探索Amazon Bedrock自定义模型导入的DeepSeek和Open FMS。它涵盖了使用流行的开源工具：LLMPERF和LITELLM在亚马逊基岩中定制模型的性能基准测试过程。它包括一个笔记本，其中包含分步说明，以部署DeepSeek-R1-Distill-Lalama-8B型号，但是相同的步骤适用于Amazon Bedrock自定义模型导入的任何其他模型。

来源:亚马逊云科技 _机器学习
开放基础模型（FMS）允许组织通过对其特定域或任务进行微调来构建自定义的AI应用程序，同时保留对成本和部署的控制。但是，部署可能是努力的很大一部分，通常需要30％的项目时间，因为工程师必须仔细优化实例类型并通过仔细测试配置服务参数。这个过程既复杂又耗时，需要专门的知识和迭代测试才能实现所需的性能。AMAZONBEDROCK自定义模型导入通过为模型部署和调用提供直接的API，简化了自定义模型的部署。您可以上传模型权重，让AWS处理最佳，完全管理的部署。这确保部署是表现且具有成本效益的。 Amazon Bedrock自定义型号进口还处理自动缩放，包括缩放为零。当不使用且在5分钟内没有调用时，它会缩放为零。您仅用于5分钟增量的使用费用。它还处理扩展，当需要更高的并发时，会自动增加活动模型副本的数量。这些功能使Amazon Bedrock自定义模型导入了有吸引力的解决方案，对于希望在Amazon Bedrock上使用自定义模型的组织提供简单性和成本效益。在将这些模型部署在生产中之前，使用基准测试工具评估其性能至关重要。这些工具有助于主动检测潜在的生产问题，例如节流和验证部署是否可以处理预期的生产负载。本文开始了一个博客系列，探索Amazon Bedrock自定义模型导入的DeepSeek和Open FMS。它涵盖了使用流行的开源工具：LLMPERF和LITELLM在亚马逊基岩中定制模型的性能基准测试过程。它包括一个笔记本，其中包括分步说明，以部署DeepSeek-R1-Distill-llalama-8b型号，BU
专门的 性能 缩放 生产 模型权重 使用 模型的 预期的 Amazon 测试工具 测试 模型 应用程序 潜在的 处理 部署 Bedrock 流行的 包括 自动 自定义 工程师 吸引力 需要 管理的 FMS 直接的 成本效益 DeepSeek 所需的 导入的