在本文中，我们提供了在 LLM 部署中实施 Fast Model Loader 的详细实践指南。我们探讨了两种方法：使用 SageMaker Python SDK 进行编程实现，以及使用 Amazon SageMaker Studio UI 获得更直观、更具交互性的体验。无论您是喜欢使用代码的开发人员还是喜欢图形界面的人，您都将学习如何利用这一强大功能来加速您的 LLM 部署。
Fast and accurate zero-shot forecasting with Chronos-Bolt and AutoGluon
Amazon SageMaker 客户可以通过 AutoGluon-TimeSeries 和 Amazon SageMaker JumpStart 使用 Chronos 模型。在这篇文章中，我们介绍了 Chronos-Bolt，这是我们最新的预测 FM，已集成到 AutoGluon-TimeSeries 中。
Easily deploy and manage hundreds of LoRA adapters with SageMaker efficient multi-adapter inference
Amazon SageMaker 的全新高效多适配器推理功能为使用微调模型的客户带来了激动人心的可能性。此功能与 SageMaker 推理组件集成，可让您通过 SageMaker API 部署和管理数百个经过微调的低秩自适应 (LoRA) 适配器。在本文中，我们将展示如何使用 SageMaker 中的全新高效多适配器推理功能。
Efficiently train models with large sequence lengths using Amazon SageMaker model parallel
在本文中，我们将演示 Amazon SageMaker 模型并行库 (SMP) 如何通过支持新功能来满足这一需求，例如用于加速训练性能的 8 位浮点 (FP8) 混合精度训练和用于处理大输入序列长度的上下文并行性，从而扩展其现有功能的列表。
在本博文中，SophosAI 分享了使用 Amazon Bedrock 和 Amazon SageMaker 使用和评估开箱即用的 LLM 来提高安全运营中心 (SOC) 生产力的见解。我们使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Sonnet 来说明用例。
Apply Amazon SageMaker Studio lifecycle configurations using AWS CDK
本篇文章是有关如何为您的 Amazon SageMaker Studio 域设置生命周期配置的分步指南。借助生命周期配置，系统管理员可以对其 SageMaker Studio 域及其用户应用自动控制。我们涵盖了 SageMaker Studio 的核心概念，并提供了如何将生命周期配置应用于 […] 的代码示例
Rad AI reduces real-time inference latency by 50% using Amazon SageMaker
本篇文章由 Rad AI 的 Ken Kao 和 Hasan Ali Demirci 共同撰写。Rad AI 重塑了放射学报告，开发了简化最繁琐和重复任务的解决方案，并节省了放射科医生的时间。自 2018 年以来，我们的旗舰产品 Rad AI Impressions 使用最先进的专有和开源大型语言模型 (LLM)，大大减少了 […]
我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持，可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
John Snow Labs Medical LLMs are now available in Amazon SageMaker JumpStart
今天，我们很高兴地宣布，John Snow Labs 的医学 LLM – 小型和医学 LLM – 中大型语言模型 (LLM) 现已在 Amazon SageMaker Jumpstart 上推出。对于医生来说，此工具可以快速了解患者的医疗历程，帮助他们从大量文档中及时做出明智的决策。这种总结能力不仅可以提高效率，还可以确保不会忽略任何关键细节，从而支持最佳患者护理并改善医疗保健结果。
Accelerating Mixtral MoE fine-tuning on Amazon SageMaker with QLoRA
在本文中，我们将演示如何通过使用完全托管的环境和 Amazon SageMaker 训练作业来使用 PyTorch 完全分片数据并行 (FSDP) 和量化低秩自适应 (QLoRA) 对 Mixtral 8x7B 模型进行微调，从而解决模型定制复杂、耗时且通常成本高昂的挑战。
Amazon SageMaker Inference now supports G6e instances
SageMaker 上的 G6e 实例解锁了以经济高效的方式部署各种开源模型的能力。凭借卓越的内存容量、增强的性能和成本效益，这些实例为希望部署和扩展其 AI 应用程序的组织提供了极具吸引力的解决方案。处理更大模型、支持更长上下文长度和保持高吞吐量的能力使 G6e 实例对于现代 AI 应用程序特别有价值。
在本文中，我们将展示如何使用 SageMaker Ground Truth 实现音频和视频分割解决方案。我们将指导您使用 AWS CloudFormation 部署必要的基础设施、创建内部标记团队以及设置您的第一个标记作业。在本文结束时，您将拥有一个功能齐全的音频/视频分割工作流程，您可以根据各种用例进行调整，从训练语音合成模型到提高视频生成能力。
Fine-tune large language models with Amazon SageMaker Autopilot
微调基础模型 (FM) 是一个过程，涉及将预先训练的 FM 暴露给特定于任务的数据并微调其参数。然后它可以加深理解并为该特定领域产生更准确和相关的输出。在本文中，我们将展示如何使用 Amazon SageMaker Autopilot 训练作业和 AutoMLV2 […]
How FP8 boosts LLM training by 18% on Amazon SageMaker P5 instances
近年来，LLM 培训取得了显著的进步，组织在模型大小、性能和效率方面不断突破极限。在本文中，我们将探讨 FP8 优化如何显著加快 Amazon SageMaker P5 实例上的大型模型训练。
Cohere Embed multimodal embeddings model is now available on Amazon SageMaker JumpStart
Cohere Embed 多模式嵌入模型现已在 Amazon SageMaker JumpStart 上正式推出。该模型是最新的 Cohere Embed 3 模型，它现在是多模式的，能够从文本和图像生成嵌入，使企业能够从以图像形式存在的大量数据中释放真正的价值。在本文中，我们将通过一些示例讨论这种新模型的优势和功能。
Fine-tune multimodal models for vision and text use cases on Amazon SageMaker JumpStart
在本文中，我们将展示如何微调文本和视觉模型（例如 Meta Llama 3.2），以便在视觉问答任务中表现更好。Meta Llama 3.2 Vision Instruct 模型在具有挑战性的 DocVQA 视觉问答基准上表现出色。通过利用 Amazon SageMaker JumpStart 的强大功能，我们展示了调整这些生成式 AI 模型以更好地理解和回答有关图像的自然语言问题的过程。
Centralize model governance with SageMaker Model Registry Resource Access Manager sharing
我们最近宣布使用 AWS Resource Access Manager (AWS RAM) 实现 Amazon SageMaker Model Registry 的跨账户共享，从而更轻松地在您的 AWS 账户之间安全地共享和发现机器学习 (ML) 模型。在本文中，我们将向您展示如何使用这个新的跨账户模型共享功能来构建您自己的集中模型治理能力，这通常是集中模型审批、部署、审计和监控工作流所需要的。
Understanding prompt engineering: Unlock the creative potential of Stability AI models on AWS
Stability AI 在 Amazon SageMaker JumpStart 上最新推出的 Stable Diffusion 3.5 Large (SD3.5L) 通过生成更多样化的输出并紧密遵循用户提示来增强图像生成、人体解剖渲染和排版，使其成为对其前身的重大升级。在这篇文章中，我们将探索可以增强这些模型性能的高级提示工程技术，并通过文本到图像的转换促进引人注目的图像的创建。
