Efficiently serve dozens of fine-tuned models with vLLM on Amazon SageMaker AI and Amazon Bedrock
在这篇文章中,我们将解释如何在 vLLM 中为专家混合 (MoE) 模型实现多 LoRA 推理,描述我们执行的内核级优化,并向您展示如何从这项工作中受益。我们在这篇文章中使用 GPT-OSS 20B 作为我们的主要示例。
Train CodeFu-7B with veRL and Ray on Amazon SageMaker Training jobs
在这篇文章中,我们将演示如何在由 SageMaker 训练作业管理的分布式 Ray 集群中使用组相对策略优化 (GRPO) 和 veRL 来训练 CodeFu-7B(一种用于竞争性编程的专用 70 亿参数模型),veRL 是一个灵活高效的大型语言模型 (LLM) 训练库,可直接扩展各种 RL 算法,并与现有 LLM 基础设施无缝集成。我们将介绍完整的实施过程,涵盖数据准备、分布式训练设置和全面的可观察性,展示这种统一的方法如何为复杂的 RL 训练工作负载提供计算规模和开发人员体验。
2025 年,Amazon SageMaker AI 进行了多项改进,旨在帮助您训练、调整和托管生成型 AI 工作负载。在本系列的第 1 部分中,我们讨论了灵活的培训计划和对推理组件的性价比改进。在这篇文章中,我们讨论可观察性、模型定制和模型托管方面的增强功能。这些改进有助于在 SageMaker AI 上托管全新类别的客户用例。
Accelerating AI model production at Hexagon with Amazon SageMaker HyperPod
在这篇博文中,我们演示了 Hexagon 如何与 Amazon Web Services 合作,通过使用 Amazon SageMaker HyperPod 的模型训练基础设施预训练最先进的分割模型来扩展其 AI 模型生产。
How Sonrai uses Amazon SageMaker AI to accelerate precision medicine trials
在这篇文章中,我们探讨了生命科学 AI 公司 Sonrai 如何与 AWS 合作,使用 Amazon SageMaker AI 构建强大的 MLOps 框架,以应对这些挑战,同时保持受监管环境中所需的可追溯性和可重复性。
NVIDIA Nemotron 3 Nano 30B MoE model is now available in Amazon SageMaker JumpStart
今天,我们很高兴地宣布,具有 3B 活动参数的 NVIDIA Nemotron 3 Nano 30B 模型现已在 Amazon SageMaker JumpStart 模型目录中全面上市。您可以利用 Amazon Web Services (AWS) 上的 Nemotron 3 Nano 加速创新并提供切实的业务价值,而无需管理模型部署的复杂性。您可以使用 SageMaker JumpStart 提供的托管部署功能,通过 Nemotron 功能为您的生成式 AI 应用程序提供支持。
HiCut AI Video Maker App Review: Pricing Structure and Key Functions
HiCut AI 视频生成器是 Appstore 上最新的 AI 视频编辑移动应用程序之一。它非常适合快速社交帖子、创意短片或您想在手机上创建的任何富有想象力的内容。虽然它对初学者很有帮助,但它提供了高级功能,可以让您的视频看起来很专业。 HiCut AI 视频生成器可以做什么? HiCut:AI视频生成器是一款简单方便的应用程序,使用户能够在AI的支持下创建新的酷视频。用户可以首先上传照片或选择模板,然后应用程序生成 [...]
Fayzpix Image Maker App Review: Pricing Structure and Key Capabilities
Fayzpix 图像生成器使用 AI 来获取文本指令,并通过几个简单的步骤生成高质量的图像。无需依赖专业的设计工具或复杂的软件,用户只需概述他们的想法,系统就会通过其经过训练的模型来解释它。结果涵盖现实摄影、细致的艺术作品、风格化的构图和完全抽象的创作。它是如何运作的?在提示字段中输入描述,Fayzpix 会生成旨在反映所提供的详细信息的图像。平台内提供多种人工智能模型,用户可以选择适合自己需求的输出方式。创建后,视觉效果可以 [...]
ASHK AI Video Maker App Review: Pricing Structure and Key Functions
ASHK Video Generator 是一个允许用户将静态图像转换为短视频剪辑的平台。您首先创建一个角色或视觉场景,然后从多个动画设置中进行选择,系统会生成一个简短的视频,为您所做的设计提供动画效果。 ASHK 视频生成器可以做什么? ASHK。关于 IO IO 是一个角色聊天平台,使用户能够与各种精选的 AI 角色(从动漫风格的可爱人物和历史偶像到拟人化的风险投资基金)进行有趣、互动、实时的对话。用户可以随时在角色之间切换,开始 24-7 聊天并参与真正的 [...]
Agentic AI for healthcare data analysis with Amazon SageMaker Data Agent
2025 年 11 月 21 日,Amazon SageMaker 在 Amazon SageMaker Unified Studio 中引入了内置数据代理,可改变大规模数据分析。在这篇文章中,我们通过流行病学家进行临床队列分析的详细案例研究,展示了 SageMaker Data Agent 如何帮助将数周的数据准备时间缩短为数天,将数天的分析开发时间缩短为数小时,最终加速从临床问题到研究结论的进程。
Simplify ModelOps with Amazon SageMaker AI Projects using Amazon S3-based templates
本文探讨了如何使用基于 Amazon S3 的模板来简化 ModelOps 工作流程,介绍与使用 Service Catalog 方法相比的主要优势,并演示如何创建与 GitHub 和 GitHub Actions 集成的自定义 ModelOps 解决方案,为您的团队提供功能齐全的 ML 环境的一键配置。
Transcript: Webinar – Iran Talks Deja Vu
单击此处观看网络研讨会。小组成员 Stephen Rademaker JINSA 高级顾问;美国前助理国务卿 Ray Takeyh JINSA 伊朗政策项目成员;美国国务院前伊朗政策顾问乔纳森·鲁赫 (Jonathan Ruhe) JINSA 美国战略研究员…阅读更多 ›帖子文字记录:网络研讨会 – 伊朗会谈似曾相识首先出现在 JINSA 上。
AWS vs. Azure: A Deep Dive into Model Training – Part 2
本文介绍了 Azure ML 的持久性、以工作区为中心的计算资源与 AWS SageMaker 的按需、特定于作业的方法有何不同。此外,我们还探索了环境自定义选项,从 Azure 的策划环境和自定义环境到 SageMaker 的三级自定义。AWS 与 Azure:深入研究模型训练 - 第 2 部分文章首先出现在 Towards Data Science 上。