今天在 AWS re:Invent 2024 上，我们很高兴地宣布 Amazon SageMaker Inference 中的一项新功能，它显著减少了使用 LMI 部署和扩展 LLM 进行推理所需的时间：Fast Model Loader。在这篇文章中，我们深入探讨了 Fast Model Loader 的技术细节，探索了它与现有 SageMaker 工作流程的集成，讨论了如何开始使用这项强大的新功能，并分享了客户成功案例。
在本文中，我们提供了在 LLM 部署中实施 Fast Model Loader 的详细实践指南。我们探讨了两种方法：使用 SageMaker Python SDK 进行编程实现，以及使用 Amazon SageMaker Studio UI 获得更直观、更具交互性的体验。无论您是喜欢使用代码的开发人员还是喜欢图形界面的人，您都将学习如何利用这一强大功能来加速您的 LLM 部署。
Fast and accurate zero-shot forecasting with Chronos-Bolt and AutoGluon
Amazon SageMaker 客户可以通过 AutoGluon-TimeSeries 和 Amazon SageMaker JumpStart 使用 Chronos 模型。在这篇文章中，我们介绍了 Chronos-Bolt，这是我们最新的预测 FM，已集成到 AutoGluon-TimeSeries 中。
Movers and shakers: Southwark, Captiva, Astrea, Baker Dearing
本周的风云人物包括一位对托尔金情有独钟的前部长和一位前首相保镖的女儿。文章《风云人物：Southwark、Captiva、Astrea、Baker Dearing》首次出现在 Schools Week 上。
Capitalism and Democracy: The market is far more flexible than Christopher Caldwell imagines
来自 Dean Baker 《纽约时报》专栏作家 Christopher Caldwell 在他的感恩节文章中描述了德国社会学家 Wolfgang Streeck 对资本主义和民主的看法。我没有读过施特雷克的很多作品，但正如考德威尔所述，他对美国经济的许多基本事实都大错特错。根据考德威尔的说法，资本家是 […]
Policy Uncertainty since the Election
根据 Baker、Bloom 和 Davis 的测量：图 1：美国的 EPU（新闻）（蓝色），2021 年 1 月 20 日至 2024 年 11 月 4 日的平均值（浅蓝线），2024 年 11 月 6 日的平均值（橙色线）。来源：policyuncertainty.com 访问于 2024 年 11 月 30 日。我们甚至还没有听到“漂白剂”这个词！
Easily deploy and manage hundreds of LoRA adapters with SageMaker efficient multi-adapter inference
Amazon SageMaker 的全新高效多适配器推理功能为使用微调模型的客户带来了激动人心的可能性。此功能与 SageMaker 推理组件集成，可让您通过 SageMaker API 部署和管理数百个经过微调的低秩自适应 (LoRA) 适配器。在本文中，我们将展示如何使用 SageMaker 中的全新高效多适配器推理功能。
Efficiently train models with large sequence lengths using Amazon SageMaker model parallel
在本文中，我们将演示 Amazon SageMaker 模型并行库 (SMP) 如何通过支持新功能来满足这一需求，例如用于加速训练性能的 8 位浮点 (FP8) 混合精度训练和用于处理大输入序列长度的上下文并行性，从而扩展其现有功能的列表。
在本博文中，SophosAI 分享了使用 Amazon Bedrock 和 Amazon SageMaker 使用和评估开箱即用的 LLM 来提高安全运营中心 (SOC) 生产力的见解。我们使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Sonnet 来说明用例。
Apply Amazon SageMaker Studio lifecycle configurations using AWS CDK
本篇文章是有关如何为您的 Amazon SageMaker Studio 域设置生命周期配置的分步指南。借助生命周期配置，系统管理员可以对其 SageMaker Studio 域及其用户应用自动控制。我们涵盖了 SageMaker Studio 的核心概念，并提供了如何将生命周期配置应用于 […] 的代码示例
Rad AI reduces real-time inference latency by 50% using Amazon SageMaker
本篇文章由 Rad AI 的 Ken Kao 和 Hasan Ali Demirci 共同撰写。Rad AI 重塑了放射学报告，开发了简化最繁琐和重复任务的解决方案，并节省了放射科医生的时间。自 2018 年以来，我们的旗舰产品 Rad AI Impressions 使用最先进的专有和开源大型语言模型 (LLM)，大大减少了 […]
我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持，可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
John Snow Labs Medical LLMs are now available in Amazon SageMaker JumpStart
今天，我们很高兴地宣布，John Snow Labs 的医学 LLM – 小型和医学 LLM – 中大型语言模型 (LLM) 现已在 Amazon SageMaker Jumpstart 上推出。对于医生来说，此工具可以快速了解患者的医疗历程，帮助他们从大量文档中及时做出明智的决策。这种总结能力不仅可以提高效率，还可以确保不会忽略任何关键细节，从而支持最佳患者护理并改善医疗保健结果。
Why Scott Bessent could be Trump’s James Baker
下一任总统的财政部长人选可能会找到一种方法将 Maga 经济政策置于合作的国际框架中
Being atypical is “not representative of a type, group, or class”
Dean Baker：“讲故事可以吸引注意力并卖报纸。”我在另一个网站上读到，该网站提出了 Medicare Advantage 计划比传统 Medicare 更便宜的论点。它引用了一个真理，即 Medicare Advantage 在其套餐中提供 D 部分和补充，而传统 Medicare 没有。这是真的。但是，Medicare […] 文章《非典型“不代表类型、群体或阶级”首先出现在 Angry Bear 上。
Accelerating Mixtral MoE fine-tuning on Amazon SageMaker with QLoRA
在本文中，我们将演示如何通过使用完全托管的环境和 Amazon SageMaker 训练作业来使用 PyTorch 完全分片数据并行 (FSDP) 和量化低秩自适应 (QLoRA) 对 Mixtral 8x7B 模型进行微调，从而解决模型定制复杂、耗时且通常成本高昂的挑战。
Amazon SageMaker Inference now supports G6e instances
SageMaker 上的 G6e 实例解锁了以经济高效的方式部署各种开源模型的能力。凭借卓越的内存容量、增强的性能和成本效益，这些实例为希望部署和扩展其 AI 应用程序的组织提供了极具吸引力的解决方案。处理更大模型、支持更长上下文长度和保持高吞吐量的能力使 G6e 实例对于现代 AI 应用程序特别有价值。
在本文中，我们将展示如何使用 SageMaker Ground Truth 实现音频和视频分割解决方案。我们将指导您使用 AWS CloudFormation 部署必要的基础设施、创建内部标记团队以及设置您的第一个标记作业。在本文结束时，您将拥有一个功能齐全的音频/视频分割工作流程，您可以根据各种用例进行调整，从训练语音合成模型到提高视频生成能力。
