Ray jobs on Amazon SageMaker HyperPod: scalable and resilient distributed AI
Ray是一个开源框架，使创建，部署和优化分布式Python作业变得直接。在这篇文章中，我们演示了在Sagemaker Hyperpod上运行射线作业的步骤。
Integrating custom dependencies in Amazon SageMaker Canvas workflows
在亚马逊sagemaker画布中实施机器学习工作流程时，组织可能需要考虑其特定用例所需的外部依赖项。尽管Sagemaker画布为快速实验提供了强大的无代码和低编码功能，但某些项目可能需要默认情况下默认情况下的专门依赖项和库。这篇文章提供了一个示例，说明了如何将依赖外部依赖关系的代码合并到您的SageMaker画布工作流程中。
Amazon SageMaker JumpStart adds fine-tuning support for models in a private model hub
今天，我们宣布了一项增强的私人枢纽功能，并具有几种新功能，可为组织提供更大的控制权。这些增强功能包括直接在私人枢纽内微调SageMaker JumpStart模型的能力，支持和管理定制训练的模型，为关联笔记本电脑的深层链接功能以及改进的模型版本管理。
在这篇文章中，我们讨论了组织更新生产模型时面临的挑战。然后，我们深入研究推理组件的新滚动更新功能，并使用DeepSeek蒸馏器模型提供实践示例来演示此功能。最后，我们探索如何在不同方案中设置滚动更新。
在这篇文章中，我们演示了如何在Sagemaker Unified Studio中使用Amazon Bedrock来构建生成AI应用程序，以与现有的端点和数据库集成。
Running NVIDIA NeMo 2.0 Framework on Amazon SageMaker HyperPod
在这篇博客文章中，我们探讨了如何将Nemo 2.0与Sagemaker Hyperpod集成，以实现对大型语言模型（LLMS）的有效培训。我们介绍设置过程，并提供逐步指南，以在Sagemaker HyperPod群集上运行NEMO作业。
今天，我们很高兴地宣布，Nemo Retriever Llama3.2文本嵌入和重新启动NVIDIA NIM微服务可在Amazon Sagemaker Jumpstart中获得。通过此发布，您现在可以部署NVIDIA优化的重新骑行和嵌入模型来构建，实验和负责任地扩展您的生成AI想法。在这篇文章中，我们演示了如何在Sagemaker Jumpstart上开始这些模型。
Unleash AI innovation with Amazon SageMaker HyperPod
在这篇文章中，我们展示了SageMaker HyperPod及其在AWS RE：Invent 2024上引入的新功能如何满足现代AI工作负载的需求，从而提供了针对分布式培训和加速推理的持久和优化的群集，并在云规模上加速推理和有吸引力的价格。
How to run Qwen 2.5 on AWS AI chips using Hugging Face libraries
在这篇文章中，我们概述了如何使用拥抱脸部文本生成推断（TGI）容器（TGI）容器（TGI）容器（TGI）和TheHugging Optimum face face face facimum neuron库来使用使用Amazon弹性Compute Cloud（Amazon EC2）和Amazon Sagemaker部署QWEN 2.5模型家族。还支持QWEN2.5编码器和数学变体。
Optimize hosting DeepSeek-R1 distilled models with Hugging Face TGI on Amazon SageMaker AI
在这篇文章中，我们演示了如何通过Amazon Sagemaker AI优化托管DeepSeek-R1蒸馏型模型（TGI）。
Deploy DeepSeek-R1 distilled models on Amazon SageMaker using a Large Model Inference container
在SageMaker AI上部署DeepSeek模型为寻求在其应用程序中使用最先进的语言模型的组织提供了强大的解决方案。在这篇文章中，我们展示了如何在SageMaker AI中使用蒸馏型，该模型提供了几种选择R1模型的蒸馏版本。
Time series forecasting with LLM-based foundation models and scalable AIOps on AWS
在此博客文章中，我们将使用合成数据集将计时集成到Amazon Sagemaker管道中，该数据集将计算数据集整合到Amazon Sagemaker管道中，该数据集模拟销售预测方案，以最小的数据将准确有效的预测解锁准确有效的预测。
Customize DeepSeek-R1 distilled models using Amazon SageMaker HyperPod recipes – Part 1
在这个两部分的系列中，我们讨论了如何通过使用deepSeek-R1模型及其蒸馏变量的预先构建的微调工作流（也称为“食谱”）来减少DeepSeek模型的自定义复杂性，并作为亚马逊SageMaker HyproPod食谱的一部分发布。 In this first post, we will build a solution architecture for fine-tuning DeepSeek-R1 distilled models and demonstrate the approach by providing a step-by-step example on customizing t
我们很高兴地宣布，Mistral-Small-24B-Instruct-2501-来自Mistral AI的240亿个参数大语言模型（LLM），可针对低延迟文本生成任务进行优化 - 可以通过Amazon Sagemaker Jumpstartand Jumpstartand Amazon Bedrock Marketplace提供客户。在这篇文章中，我们介绍如何发现，部署和使用Mistral-Small-24B-Instruct-2501。
在这篇文章中，我们将连续的自我实施微型调整框架作为DSPY框架实现的复合AI系统。该框架首先从域知识库中生成一个综合数据集，并为自我建筑生成文档，然后通过SFT驱动模型进行微调，并介绍了人类的工作流程，以将人类和AI的反馈收集到模型响应中，它用于通过增强学习（RLHF/RLAIF）来对齐人类偏好来进一步提高模型性能。
Best practices for Amazon SageMaker HyperPod task governance
在这篇文章中，我们提供了最佳实践，以最大程度地提高SageMaker HyperPod任务治理的价值，并使管理和数据科学体验无缝。在管理和运行生成的AI开发任务时，我们还讨论了共同的治理方案。
Achieve ~2x speed-up in LLM inference with Medusa-1 on Amazon SageMaker AI
研究人员开发了 Medusa，这是一个通过添加额外头来同时预测多个标记以加快 LLM 推理速度的框架。这篇文章演示了如何使用框架的第一个版本 Medusa-1 通过在 Amazon SageMaker AI 上对其进行微调来加速 LLM，并通过部署和简单的负载测试确认了加速效果。Medusa-1 在不牺牲模型质量的情况下实现了约两倍的推理加速，具体改进取决于模型大小和使用的数据。在这篇文章中，我们通过在样本数据集上观察到 1.8 倍的加速来证明其有效性。
Meta SAM 2.1 is now available in Amazon SageMaker JumpStart
我们很高兴地宣布，Meta 的 Segment Anything Model (SAM) 2.1 视觉分割模型已通过 Amazon SageMaker JumpStart 公开发布，可用于部署和运行推理。Meta SAM 2.1 在单个模型中提供了最先进的视频和图像分割功能。在这篇文章中，我们探讨了 SageMaker JumpStart 如何帮助数据科学家和 ML 工程师发现、访问和部署各种预先训练的 FM 进行推理，包括 Meta 迄今为止最先进、最强大的模型。
