Real value, real time: Production AI with Amazon SageMaker and Tecton
在本文中,我们讨论了 Amazon SageMaker 和 Tecton 如何协同工作以简化可用于生产的 AI 应用程序的开发和部署,尤其是对于欺诈检测等实时用例。通过抽象复杂的工程任务,该集成可以加快价值实现速度,使团队能够专注于构建功能和用例,同时为 ML 模型的离线训练和在线服务提供精简的框架。
Use Amazon Bedrock tooling with Amazon SageMaker JumpStart models
在本文中,我们探讨了如何从 SageMaker JumpStart 部署 AI 模型并将它们与 Amazon Bedrock 的强大功能一起使用。用户可以将 SageMaker JumpStart 的模型托管与 Bedrock 的安全和监控工具相结合。我们以 Gemma 2 9B Instruct 模型为例进行了演示,展示了如何部署它并使用 Bedrock 的高级功能。
Build generative AI applications quickly with Amazon Bedrock IDE in Amazon SageMaker Unified Studio
在本文中,我们将展示贵公司中的任何人都可以使用 Amazon Bedrock IDE 快速创建生成式 AI 聊天代理应用程序来分析销售绩效数据。通过简单的对话,业务团队可以使用聊天代理从结构化和非结构化数据源中提取有价值的见解,而无需编写代码或管理复杂的数据管道。
Scale ML workflows with Amazon SageMaker Studio and Amazon SageMaker HyperPod
Amazon SageMaker Studio 和 Amazon SageMaker HyperPod 的集成提供了一种简化的解决方案,为数据科学家和 ML 工程师提供了一个全面的环境,支持从开发到大规模部署的整个 ML 生命周期。在这篇文章中,我们将引导您完成使用 SageMaker Studio 和 SageMaker HyperPod 扩展 ML 工作负载的过程。
Building Generative AI and ML solutions faster with AI apps from AWS partners using Amazon SageMaker
今天,我们很高兴地宣布,来自 AWS 合作伙伴的 AI 应用程序现已在 SageMaker 中可用。您现在可以私密且安全地查找、部署和使用这些 AI 应用程序,而无需离开 SageMaker AI,因此您可以更快地开发高性能 AI 模型。
Amazon SageMaker launches the updated inference optimization toolkit for generative AI
今天,Amazon SageMaker 很高兴宣布对推理优化工具包进行更新,提供新功能和增强功能,以帮助您更快地优化生成式 AI 模型。在这篇文章中,我们将更详细地讨论该工具包的这些新功能。
Speed up your AI inference workloads with new NVIDIA-powered capabilities in Amazon SageMaker
在 re:Invent 2024 上,我们很高兴地宣布了新功能,利用 Amazon SageMaker 上的 NVIDIA 加速计算和软件产品来加速您的 AI 推理工作负载。在这篇文章中,我们将探讨如何使用这些新功能来增强您在 Amazon SageMaker 上的 AI 推理。我们将介绍从 AWS Marketplace 为 SageMaker Inference 部署 NVIDIA NIM 微服务的过程。然后,我们将深入介绍 NVIDIA 在 SageMaker JumpStart 上提供的模型,展示如何直接在 JumpStart 界面中访问和部署 Nemotron-4 模型。这将包括分步
Unlock cost savings with the new scale down to zero feature in SageMaker Inference
今天在 AWS re:Invent 2024 上,我们很高兴地宣布 Amazon SageMaker 推理终端节点的一项新功能:能够将 SageMaker 推理终端节点扩展到零个实例。这项期待已久的功能对于使用云中的 AI 和机器学习 (ML) 推理功能的客户来说是一个改变游戏规则的功能。
今天,在 AWS re:Invent 2024 大会上,我们很高兴地宣布 Amazon SageMaker 中推出了新的容器缓存功能,该功能可显著缩短扩展生成式 AI 模型进行推理所需的时间。这项创新让您能够更快地扩展模型,在扩展新模型副本时,延迟可降低高达 56%,在新实例上添加模型副本时,延迟可降低高达 30%。在本文中,我们将探讨 SageMaker 推理的新容器缓存功能,以应对部署和扩展大型语言模型 (LLM) 的挑战。
今天在 AWS re:Invent 2024 上,我们很高兴地宣布 Amazon SageMaker Inference 中的一项新功能,它显著减少了使用 LMI 部署和扩展 LLM 进行推理所需的时间:Fast Model Loader。在这篇文章中,我们深入探讨了 Fast Model Loader 的技术细节,探索了它与现有 SageMaker 工作流程的集成,讨论了如何开始使用这项强大的新功能,并分享了客户成功案例。
在本文中,我们提供了在 LLM 部署中实施 Fast Model Loader 的详细实践指南。我们探讨了两种方法:使用 SageMaker Python SDK 进行编程实现,以及使用 Amazon SageMaker Studio UI 获得更直观、更具交互性的体验。无论您是喜欢使用代码的开发人员还是喜欢图形界面的人,您都将学习如何利用这一强大功能来加速您的 LLM 部署。
Fast and accurate zero-shot forecasting with Chronos-Bolt and AutoGluon
Amazon SageMaker 客户可以通过 AutoGluon-TimeSeries 和 Amazon SageMaker JumpStart 使用 Chronos 模型。在这篇文章中,我们介绍了 Chronos-Bolt,这是我们最新的预测 FM,已集成到 AutoGluon-TimeSeries 中。
Easily deploy and manage hundreds of LoRA adapters with SageMaker efficient multi-adapter inference
Amazon SageMaker 的全新高效多适配器推理功能为使用微调模型的客户带来了激动人心的可能性。此功能与 SageMaker 推理组件集成,可让您通过 SageMaker API 部署和管理数百个经过微调的低秩自适应 (LoRA) 适配器。在本文中,我们将展示如何使用 SageMaker 中的全新高效多适配器推理功能。
Efficiently train models with large sequence lengths using Amazon SageMaker model parallel
在本文中,我们将演示 Amazon SageMaker 模型并行库 (SMP) 如何通过支持新功能来满足这一需求,例如用于加速训练性能的 8 位浮点 (FP8) 混合精度训练和用于处理大输入序列长度的上下文并行性,从而扩展其现有功能的列表。
在本博文中,SophosAI 分享了使用 Amazon Bedrock 和 Amazon SageMaker 使用和评估开箱即用的 LLM 来提高安全运营中心 (SOC) 生产力的见解。我们使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Sonnet 来说明用例。
Apply Amazon SageMaker Studio lifecycle configurations using AWS CDK
本篇文章是有关如何为您的 Amazon SageMaker Studio 域设置生命周期配置的分步指南。借助生命周期配置,系统管理员可以对其 SageMaker Studio 域及其用户应用自动控制。我们涵盖了 SageMaker Studio 的核心概念,并提供了如何将生命周期配置应用于 […] 的代码示例
Rad AI reduces real-time inference latency by 50% using Amazon SageMaker
本篇文章由 Rad AI 的 Ken Kao 和 Hasan Ali Demirci 共同撰写。Rad AI 重塑了放射学报告,开发了简化最繁琐和重复任务的解决方案,并节省了放射科医生的时间。自 2018 年以来,我们的旗舰产品 Rad AI Impressions 使用最先进的专有和开源大型语言模型 (LLM),大大减少了 […]
我们很高兴地宣布,Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持,可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中,我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。