详细内容或原文请订阅后点击阅览
使用 DeepSeek-R1、CrewAI 和 Amazon SageMaker AI 构建代理式 AI 解决方案
在这篇文章中，我们将演示如何将 DeepSeek-R1 等 LLM（或您选择的其他 FM）从 SageMaker JumpStart 或 Hugging Face Hub 等热门模型中心部署到 SageMaker AI 进行实时推理。我们探索了 Hugging Face TGI 等推理框架，它有助于简化部署，同时集成内置性能优化以最大限度地减少延迟并最大限度地提高吞吐量。此外，我们还展示了 SageMaker 开发人员友好的 Python SDK 如何简化端点编排，从而实现 LLM 支持的应用程序的无缝实验和扩展。
来源:亚马逊云科技 _机器学习AI 代理正迅速成为企业转型的下一个前沿，82% 的组织计划在未来 3 年内采用。根据 Capgemini 对 1,100 名大型企业高管的调查，10% 的组织已经使用 AI 代理，超过一半的组织计划在明年使用它们。最近发布的 DeepSeek-R1 模型为开源社区带来了最先进的推理能力。组织可以使用这些推理模型构建代理应用程序，以高级决策能力执行复杂任务，从而提高效率和适应性。
Capgemini 调查在本文中，我们将深入探讨组织如何使用 Amazon SageMaker AI，这是一项完全托管的服务，可让您大规模构建、训练和部署 ML 模型，以及可以使用 CrewAI（一种流行的代理框架）和 DeepSeek-R1 等开源模型构建 AI 代理。
Amazon SageMaker AI代理设计与传统软件设计
与传统软件相比，代理系统提供了一种完全不同的方法，特别是在处理复杂、动态和特定领域挑战的能力方面。与依赖基于规则的自动化和结构化数据的传统系统不同，由大型语言模型 (LLM) 提供支持的代理系统可以自主运行、从环境中学习并做出细致入微的情境感知决策。这是通过模块化组件实现的，包括推理、记忆、认知技能和工具，使它们能够执行复杂的任务并适应不断变化的场景。
DeepSeek-R1
DeepSeek-R1 DeepSeek-R1-Distill-Llama-70B DeepSeek-R1，请参阅现已在 Amazon Bedrock Marketplace 中提供的 DeepSeek-R1 模型SageMaker AI 上的生成式 AI
SageMaker AI 简化了各个技能水平的生成式 AI 模型构建者使用基础模型 (FM) 的过程：
Amazon SageMaker Canvas Amazon SageMaker JumpStart 笔记本 Amazon SageMaker 培训 推理 Amazon SageMaker for MLOps 合作伙伴 AI 应用程序 pip