Optimize hosting DeepSeek-R1 distilled models with Hugging Face TGI on Amazon SageMaker AI
在这篇文章中，我们演示了如何通过Amazon Sagemaker AI优化托管DeepSeek-R1蒸馏型模型（TGI）。
Deploy DeepSeek-R1 distilled models on Amazon SageMaker using a Large Model Inference container
在SageMaker AI上部署DeepSeek模型为寻求在其应用程序中使用最先进的语言模型的组织提供了强大的解决方案。在这篇文章中，我们展示了如何在SageMaker AI中使用蒸馏型，该模型提供了几种选择R1模型的蒸馏版本。
Time series forecasting with LLM-based foundation models and scalable AIOps on AWS
在此博客文章中，我们将使用合成数据集将计时集成到Amazon Sagemaker管道中，该数据集将计算数据集整合到Amazon Sagemaker管道中，该数据集模拟销售预测方案，以最小的数据将准确有效的预测解锁准确有效的预测。
Customize DeepSeek-R1 distilled models using Amazon SageMaker HyperPod recipes – Part 1
在这个两部分的系列中，我们讨论了如何通过使用deepSeek-R1模型及其蒸馏变量的预先构建的微调工作流（也称为“食谱”）来减少DeepSeek模型的自定义复杂性，并作为亚马逊SageMaker HyproPod食谱的一部分发布。 In this first post, we will build a solution architecture for fine-tuning DeepSeek-R1 distilled models and demonstrate the approach by providing a step-by-step example on customizing t
我们很高兴地宣布，Mistral-Small-24B-Instruct-2501-来自Mistral AI的240亿个参数大语言模型（LLM），可针对低延迟文本生成任务进行优化 - 可以通过Amazon Sagemaker Jumpstartand Jumpstartand Amazon Bedrock Marketplace提供客户。在这篇文章中，我们介绍如何发现，部署和使用Mistral-Small-24B-Instruct-2501。
在这篇文章中，我们将连续的自我实施微型调整框架作为DSPY框架实现的复合AI系统。该框架首先从域知识库中生成一个综合数据集，并为自我建筑生成文档，然后通过SFT驱动模型进行微调，并介绍了人类的工作流程，以将人类和AI的反馈收集到模型响应中，它用于通过增强学习（RLHF/RLAIF）来对齐人类偏好来进一步提高模型性能。
Best practices for Amazon SageMaker HyperPod task governance
在这篇文章中，我们提供了最佳实践，以最大程度地提高SageMaker HyperPod任务治理的价值，并使管理和数据科学体验无缝。在管理和运行生成的AI开发任务时，我们还讨论了共同的治理方案。
Achieve ~2x speed-up in LLM inference with Medusa-1 on Amazon SageMaker AI
研究人员开发了 Medusa，这是一个通过添加额外头来同时预测多个标记以加快 LLM 推理速度的框架。这篇文章演示了如何使用框架的第一个版本 Medusa-1 通过在 Amazon SageMaker AI 上对其进行微调来加速 LLM，并通过部署和简单的负载测试确认了加速效果。Medusa-1 在不牺牲模型质量的情况下实现了约两倍的推理加速，具体改进取决于模型大小和使用的数据。在这篇文章中，我们通过在样本数据集上观察到 1.8 倍的加速来证明其有效性。
Meta SAM 2.1 is now available in Amazon SageMaker JumpStart
我们很高兴地宣布，Meta 的 Segment Anything Model (SAM) 2.1 视觉分割模型已通过 Amazon SageMaker JumpStart 公开发布，可用于部署和运行推理。Meta SAM 2.1 在单个模型中提供了最先进的视频和图像分割功能。在这篇文章中，我们探讨了 SageMaker JumpStart 如何帮助数据科学家和 ML 工程师发现、访问和部署各种预先训练的 FM 进行推理，包括 Meta 迄今为止最先进、最强大的模型。
Falcon 3 models now available in Amazon SageMaker JumpStart
我们很高兴地宣布，TII 的 Falcon 3 系列模型已在 Amazon SageMaker JumpStart 中推出。在本文中，我们将探讨如何在 Amazon SageMaker AI 上高效部署此模型。
Faster distributed graph neural network training with GraphStorm v0.4
GraphStorm 是一个低代码企业图形机器学习 (ML) 框架，为 ML 从业者提供了一种在行业规模图形数据上构建、训练和部署图形 ML 解决方案的简单方法。在这篇文章中，我们展示了 GraphBolt 如何在分布式设置中增强 GraphStorm 的性能。我们提供了一个在 SageMaker 上使用 GraphStorm 和 GraphBolt 进行分布式训练的实际示例。最后，我们分享了如何将 Amazon SageMaker Pipelines 与 GraphStorm 结合使用。
Build agentic AI solutions with DeepSeek-R1, CrewAI, and Amazon SageMaker AI
在这篇文章中，我们将演示如何将 DeepSeek-R1 等 LLM（或您选择的其他 FM）从 SageMaker JumpStart 或 Hugging Face Hub 等热门模型中心部署到 SageMaker AI 进行实时推理。我们探索了 Hugging Face TGI 等推理框架，它有助于简化部署，同时集成内置性能优化以最大限度地减少延迟并最大限度地提高吞吐量。此外，我们还展示了 SageMaker 开发人员友好的 Python SDK 如何简化端点编排，从而实现 LLM 支持的应用程序的无缝实验和扩展。
Governing the ML lifecycle at scale, Part 4: Scaling MLOps with security and governance controls
这篇文章提供了设置多账户 ML 平台关键组件的详细步骤。这包括配置 ML 共享服务账户，该账户管理中央模板、模型注册表和部署管道；从中央服务目录共享 ML Admin 和 SageMaker 项目组合；以及设置单独的 ML 开发账户，数据科学家可以在其中构建和训练模型。
Fine-tune and host SDXL models cost-effectively with AWS Inferentia2
随着技术的不断发展，新的模型不断涌现，提供更高的质量、更大的灵活性和更快的图像生成功能。StabilityAI 发布的 Stable Diffusion XL (SDXL) 就是这样一种突破性的模型，它将文本到图像的生成 AI 技术推向了前所未有的高度。在这篇文章中，我们演示了如何使用 SageMaker Studio 有效地微调 SDXL 模型。我们展示了如何准备经过微调的模型以在由 AWS Inferentia2 提供支持的 Amazon EC2 Inf2 实例上运行，从而为您的推理工作负载带来卓越的性价比。
Enhancing LLM Capabilities with NeMo Guardrails on Amazon SageMaker JumpStart
将 NeMo Guardrails 与大型语言模型 (LLM) 集成是向面向客户的应用程序中部署 AI 的重要一步。AnyCompany Pet Supplies 的示例说明了这些技术如何在处理拒绝和引导对话实现实施结果的同时增强客户互动。这一走向道德 AI 部署的旅程对于与客户建立可持续的、基于信任的关系以及塑造技术与人类价值观无缝契合的未来至关重要。
DeepSeek-R1 model now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
DeepSeek-R1 是一种先进的大型语言模型，它结合了强化学习、思维链推理和混合专家架构，通过 Amazon Bedrock Guardrails 集成提供高效、可解释的响应，同时保持安全性。
Track LLM model evaluation using Amazon SageMaker managed MLflow and FMEval
在本文中，我们将展示如何使用 FMEval 和 Amazon SageMaker 以编程方式评估 LLM。FMEval 是一个开源 LLM 评估库，旨在为数据科学家和机器学习 (ML) 工程师提供代码优先体验，以评估 LLM 的各个方面，包括准确性、毒性、公平性、稳健性和效率。
Create a SageMaker inference endpoint with custom model & extended container
这篇文章将引导您完成使用 NASA 的 Prithvi 模型在 SageMaker 上部署单个自定义模型的端到端过程。Prithvi 模型是 IBM 和 NASA 团队在连续的美国协调 Landsat Sentinel 2 (HLS) 数据上预先训练的首创时间 Vision 转换器。可以使用 mmsegmentation 库对其进行微调以进行图像分割，用于烧伤疤痕检测、洪水测绘和多时间作物分类等用例。
