在这篇文章中，我们讨论了组织更新生产模型时面临的挑战。然后，我们深入研究推理组件的新滚动更新功能，并使用DeepSeek蒸馏器模型提供实践示例来演示此功能。最后，我们探索如何在不同方案中设置滚动更新。
在这篇文章中，我们演示了如何在Sagemaker Unified Studio中使用Amazon Bedrock来构建生成AI应用程序，以与现有的端点和数据库集成。
Running NVIDIA NeMo 2.0 Framework on Amazon SageMaker HyperPod
在这篇博客文章中，我们探讨了如何将Nemo 2.0与Sagemaker Hyperpod集成，以实现对大型语言模型（LLMS）的有效培训。我们介绍设置过程，并提供逐步指南，以在Sagemaker HyperPod群集上运行NEMO作业。
今天，我们很高兴地宣布，Nemo Retriever Llama3.2文本嵌入和重新启动NVIDIA NIM微服务可在Amazon Sagemaker Jumpstart中获得。通过此发布，您现在可以部署NVIDIA优化的重新骑行和嵌入模型来构建，实验和负责任地扩展您的生成AI想法。在这篇文章中，我们演示了如何在Sagemaker Jumpstart上开始这些模型。
Unleash AI innovation with Amazon SageMaker HyperPod
在这篇文章中，我们展示了SageMaker HyperPod及其在AWS RE：Invent 2024上引入的新功能如何满足现代AI工作负载的需求，从而提供了针对分布式培训和加速推理的持久和优化的群集，并在云规模上加速推理和有吸引力的价格。
Optimize hosting DeepSeek-R1 distilled models with Hugging Face TGI on Amazon SageMaker AI
在这篇文章中，我们演示了如何通过Amazon Sagemaker AI优化托管DeepSeek-R1蒸馏型模型（TGI）。
Customize DeepSeek-R1 distilled models using Amazon SageMaker HyperPod recipes – Part 1
在这个两部分的系列中，我们讨论了如何通过使用deepSeek-R1模型及其蒸馏变量的预先构建的微调工作流（也称为“食谱”）来减少DeepSeek模型的自定义复杂性，并作为亚马逊SageMaker HyproPod食谱的一部分发布。 In this first post, we will build a solution architecture for fine-tuning DeepSeek-R1 distilled models and demonstrate the approach by providing a step-by-step example on customizing t
我们很高兴地宣布，Mistral-Small-24B-Instruct-2501-来自Mistral AI的240亿个参数大语言模型（LLM），可针对低延迟文本生成任务进行优化 - 可以通过Amazon Sagemaker Jumpstartand Jumpstartand Amazon Bedrock Marketplace提供客户。在这篇文章中，我们介绍如何发现，部署和使用Mistral-Small-24B-Instruct-2501。
在这篇文章中，我们将连续的自我实施微型调整框架作为DSPY框架实现的复合AI系统。该框架首先从域知识库中生成一个综合数据集，并为自我建筑生成文档，然后通过SFT驱动模型进行微调，并介绍了人类的工作流程，以将人类和AI的反馈收集到模型响应中，它用于通过增强学习（RLHF/RLAIF）来对齐人类偏好来进一步提高模型性能。
Best practices for Amazon SageMaker HyperPod task governance
在这篇文章中，我们提供了最佳实践，以最大程度地提高SageMaker HyperPod任务治理的价值，并使管理和数据科学体验无缝。在管理和运行生成的AI开发任务时，我们还讨论了共同的治理方案。
Achieve ~2x speed-up in LLM inference with Medusa-1 on Amazon SageMaker AI
研究人员开发了 Medusa，这是一个通过添加额外头来同时预测多个标记以加快 LLM 推理速度的框架。这篇文章演示了如何使用框架的第一个版本 Medusa-1 通过在 Amazon SageMaker AI 上对其进行微调来加速 LLM，并通过部署和简单的负载测试确认了加速效果。Medusa-1 在不牺牲模型质量的情况下实现了约两倍的推理加速，具体改进取决于模型大小和使用的数据。在这篇文章中，我们通过在样本数据集上观察到 1.8 倍的加速来证明其有效性。
Meta SAM 2.1 is now available in Amazon SageMaker JumpStart
我们很高兴地宣布，Meta 的 Segment Anything Model (SAM) 2.1 视觉分割模型已通过 Amazon SageMaker JumpStart 公开发布，可用于部署和运行推理。Meta SAM 2.1 在单个模型中提供了最先进的视频和图像分割功能。在这篇文章中，我们探讨了 SageMaker JumpStart 如何帮助数据科学家和 ML 工程师发现、访问和部署各种预先训练的 FM 进行推理，包括 Meta 迄今为止最先进、最强大的模型。
Falcon 3 models now available in Amazon SageMaker JumpStart
我们很高兴地宣布，TII 的 Falcon 3 系列模型已在 Amazon SageMaker JumpStart 中推出。在本文中，我们将探讨如何在 Amazon SageMaker AI 上高效部署此模型。
Build agentic AI solutions with DeepSeek-R1, CrewAI, and Amazon SageMaker AI
在这篇文章中，我们将演示如何将 DeepSeek-R1 等 LLM（或您选择的其他 FM）从 SageMaker JumpStart 或 Hugging Face Hub 等热门模型中心部署到 SageMaker AI 进行实时推理。我们探索了 Hugging Face TGI 等推理框架，它有助于简化部署，同时集成内置性能优化以最大限度地减少延迟并最大限度地提高吞吐量。此外，我们还展示了 SageMaker 开发人员友好的 Python SDK 如何简化端点编排，从而实现 LLM 支持的应用程序的无缝实验和扩展。
Enhancing LLM Capabilities with NeMo Guardrails on Amazon SageMaker JumpStart
将 NeMo Guardrails 与大型语言模型 (LLM) 集成是向面向客户的应用程序中部署 AI 的重要一步。AnyCompany Pet Supplies 的示例说明了这些技术如何在处理拒绝和引导对话实现实施结果的同时增强客户互动。这一走向道德 AI 部署的旅程对于与客户建立可持续的、基于信任的关系以及塑造技术与人类价值观无缝契合的未来至关重要。
DeepSeek-R1 model now available in Amazon Bedrock Marketplace and Amazon SageMaker JumpStart
DeepSeek-R1 是一种先进的大型语言模型，它结合了强化学习、思维链推理和混合专家架构，通过 Amazon Bedrock Guardrails 集成提供高效、可解释的响应，同时保持安全性。
Track LLM model evaluation using Amazon SageMaker managed MLflow and FMEval
在本文中，我们将展示如何使用 FMEval 和 Amazon SageMaker 以编程方式评估 LLM。FMEval 是一个开源 LLM 评估库，旨在为数据科学家和机器学习 (ML) 工程师提供代码优先体验，以评估 LLM 的各个方面，包括准确性、毒性、公平性、稳健性和效率。
Create a SageMaker inference endpoint with custom model & extended container
这篇文章将引导您完成使用 NASA 的 Prithvi 模型在 SageMaker 上部署单个自定义模型的端到端过程。Prithvi 模型是 IBM 和 NASA 团队在连续的美国协调 Landsat Sentinel 2 (HLS) 数据上预先训练的首创时间 Vision 转换器。可以使用 mmsegmentation 库对其进行微调以进行图像分割，用于烧伤疤痕检测、洪水测绘和多时间作物分类等用例。
