Introducing container caching in Amazon SageMaker AI for faster model scaling
今天,我们很高兴地宣布用于 Amazon SageMaker AI 推理的容器映像缓存,这是我们更快的扩展优化之旅的下一个重大进展。这使得生成式 AI 模型在横向扩展事件期间的端到端延迟速度提高了 2 倍。
Parallelize speculative decoding with P-EAGLE on Amazon SageMaker AI
本文将引导您了解如何直接在 Amazon SageMaker AI 中使用 P-EAGLE。它将演示如何从 SageMaker JumpStart 目录中选择兼容模型、配置并行绘图规范以及部署高度优化的实时 SageMaker AI 端点以加速您的生成式 AI 应用程序。
Scale Robot Reinforcement Learning with NVIDIA Isaac Lab on Amazon SageMaker AI
在这篇文章中,我们展示了如何在 Amazon SageMaker AI 上使用 NVIDIA Isaac Lab 跨两个计算选项训练 Unitree H1 人形机器人策略:Amazon SageMaker HyperPod 和 Amazon SageMaker 训练作业。
NVIDIA Nemotron 3 Ultra now available on Amazon SageMaker JumpStart
在 Amazon SageMaker JumpStart 上部署 NVIDIA Nemotron 3 Ultra。借助此前沿推理模型,代理 AI 工作负载的推理速度提高 5 倍,成本降低 30%。
Improve your agent’s tool-calling accuracy with SFT and DPO on Amazon SageMaker AI
在本文中,您将了解如何结合使用监督微调 (SFT) 和直接偏好优化 (DPO) 来提高小型语言模型 (SLM) 的工具调用准确性。该示例使用 Amazon SageMaker AI 训练作业,因此您可以专注于训练代码,而不是管理自己的训练基础设施。您还将学习如何评估工具调用的准确性,并将基本模型与多个微调变体进行比较,以便您可以就模型质量做出数据驱动的决策。
Fundamental’s Large Tabular Model NEXUS is now available on Amazon SageMaker JumpStart
在本文中,我们将向您展示如何在 Amazon SageMaker JumpStart 上开始使用 NEXUS、逐步完成部署过程,并演示如何针对企业数据集运行预测。
Training Azerbaijani language models on Amazon SageMaker AI
Azercell Telecom LLC 是阿塞拜疆领先的电信提供商,希望在 Amazon SageMaker AI 上针对电信用例和面向客户的聊天机器人构建阿塞拜疆大语言模型 (LLM)。挑战:使基础模型 (FM) 适应形态丰富的语言,但训练数据有限,而且阿塞拜疆没有现有的高效法学硕士培训蓝图。在为期六周的合作中,Azercell 与 AWS Generative AI 创新中心合作,在 Amazon SageMaker AI 上建立了一个生产就绪框架。
Streamline external access to Amazon SageMaker MLflow using a REST API proxy
在本文中,我们演示如何构建基于 Flask 的安全 MLflow 代理服务,该服务提供对 Amazon SageMaker MLflow 的 HTTPS 访问,而无需 MLflow SDK。该解决方案适用于正在进行云转型、希望在采用云原生服务的同时保留现有机器学习工作流程的组织。
本文演示了使用 Amazon Managed Grafana 仪表板的综合可观测性解决方案,该仪表板通过推理组件为 Amazon SageMaker AI 终端节点上提供的 LLM 提供质量和数量的整体视图。
Announcing OpenAI-compatible API support for Amazon SageMaker AI endpoints
今天,Amazon SageMaker AI 推出了针对实时推理终端节点的 OpenAI 兼容 API 支持。如果您使用 OpenAI SDK、LangChain 或 Strands Agents,您现在可以通过仅更改端点 URL 来调用 SageMaker AI 上的模型。您不需要自定义客户端、SigV4 包装器或代码重写。概述 通过此次发布,SageMaker AI 端点 [...]
Accelerate ML feature pipelines with new capabilities in Amazon SageMaker Feature Store
今天,我们宣布 SageMaker Python SDK v3.8.0 提供三项新功能。在这篇文章中,我们将通过可用于入门的代码示例来介绍每项功能。有关完整的端到端演练,请参阅 SageMaker Python SDK 存储库中有关 Lake Formation 治理和 Iceberg 表属性的随附笔记本。