Sagemaker关键词检索结果

真正的价值,实时:使用 Amazon SageMaker 和 Tecton 实现生产 AI

Real value, real time: Production AI with Amazon SageMaker and Tecton

在本文中,我们讨论了 Amazon SageMaker 和 Tecton 如何协同工作以简化可用于生产的 AI 应用程序的开发和部署,尤其是对于欺诈检测等实时用例。通过抽象复杂的工程任务,该集成可以加快价值实现速度,使团队能够专注于构建功能和用例,同时为 ML 模型的离线训练和在线服务提供精简的框架。

将 Amazon Bedrock 工具与 Amazon SageMaker JumpStart 模型结合使用

Use Amazon Bedrock tooling with Amazon SageMaker JumpStart models

在本文中,我们探讨了如何从 SageMaker JumpStart 部署 AI 模型并将它们与 Amazon Bedrock 的强大功能一起使用。用户可以将 SageMaker JumpStart 的模型托管与 Bedrock 的安全和监控工具相结合。我们以 Gemma 2 9B Instruct 模型为例进行了演示,展示了如何部署它并使用 Bedrock 的高级功能。

使用 Amazon SageMaker Unified Studio 中的 Amazon Bedrock IDE 快速构建生成式 AI 应用程序

Build generative AI applications quickly with Amazon Bedrock IDE in Amazon SageMaker Unified Studio

在本文中,我们将展示贵公司中的任何人都可以使用 Amazon Bedrock IDE 快速创建生成式 AI 聊天代理应用程序来分析销售绩效数据。通过简单的对话,业务团队可以使用聊天代理从结构化和非结构化数据源中提取有价值的见解,而无需编写代码或管理复杂的数据管道。

使用 Amazon SageMaker Studio 和 Amazon SageMaker HyperPod 扩展 ML 工作流

Scale ML workflows with Amazon SageMaker Studio and Amazon SageMaker HyperPod

Amazon SageMaker Studio 和 Amazon SageMaker HyperPod 的集成提供了一种简化的解决方案,为数据科学家和 ML 工程师提供了一个全面的环境,支持从开发到大规模部署的整个 ML 生命周期。在这篇文章中,我们将引导您完成使用 SageMaker Studio 和 SageMaker HyperPod 扩展 ML 工作负载的过程。

使用 Amazon SageMaker 使用来自 AWS 合作伙伴的 AI 应用程序更快地构建生成式 AI 和 ML 解决方案

Building Generative AI and ML solutions faster with AI apps from AWS partners using Amazon SageMaker

今天,我们很高兴地宣布,来自 AWS 合作伙伴的 AI 应用程序现已在 SageMaker 中可用。您现在可以私密且安全地查找、部署和使用这些 AI 应用程序,而无需离开 SageMaker AI,因此您可以更快地开发高性能 AI 模型。

Amazon SageMaker 推出了用于生成式 AI 的更新推理优化工具包

Amazon SageMaker launches the updated inference optimization toolkit for generative AI

今天,Amazon SageMaker 很高兴宣布对推理优化工具包进行更新,提供新功能和增强功能,以帮助您更快地优化生成式 AI 模型。在这篇文章中,我们将更详细地讨论该工具包的这些新功能。

使用 Amazon SageMaker 中新的 NVIDIA 功能加速您的 AI 推理工作负载

Speed up your AI inference workloads with new NVIDIA-powered capabilities in Amazon SageMaker

在 re:Invent 2024 上,我们很高兴地宣布了新功能,利用 Amazon SageMaker 上的 NVIDIA 加速计算和软件产品来加速您的 AI 推理工作负载。在这篇文章中,我们将探讨如何使用这些新功能来增强您在 Amazon SageMaker 上的 AI 推理。我们将介绍从 AWS Marketplace 为 SageMaker Inference 部署 NVIDIA NIM 微服务的过程。然后,我们将深入介绍 NVIDIA 在 SageMaker JumpStart 上提供的模型,展示如何直接在 JumpStart 界面中访问和部署 Nemotron-4 模型。这将包括分步

使用 SageMaker Inference 中新的缩减至零功能来节省成本

Unlock cost savings with the new scale down to zero feature in SageMaker Inference

今天在 AWS re:Invent 2024 上,我们很高兴地宣布 Amazon SageMaker 推理终端节点的一项新功能:能够将 SageMaker 推理终端节点扩展到零个实例。这项期待已久的功能对于使用云中的 AI 和机器学习 (ML) 推理功能的客户来说是一个改变游戏规则的功能。

为生成式 AI 推理增强自动扩展功能 - 在 SageMaker Inference 中引入容器缓存

Supercharge your auto scaling for generative AI inference – Introducing Container Caching in SageMaker Inference

今天,在 AWS re:Invent 2024 大会上,我们很高兴地宣布 Amazon SageMaker 中推出了新的容器缓存功能,该功能可显著缩短扩展生成式 AI 模型进行推理所需的时间。这项创新让您能够更快地扩展模型,在扩展新模型副本时,延迟可降低高达 56%,在新实例上添加模型副本时,延迟可降低高达 30%。在本文中,我们将探讨 SageMaker 推理的新容器缓存功能,以应对部署和扩展大型语言模型 (LLM) 的挑战。

在 SageMaker Inference 中引入快速模型加载器:加速大型语言模型 (LLM) 的自动扩展 - 第 1 部分

Introducing Fast Model Loader in SageMaker Inference: Accelerate autoscaling for your Large Language Models (LLMs) – part 1

今天在 AWS re:Invent 2024 上,我们很高兴地宣布 Amazon SageMaker Inference 中的一项新功能,它显著减少了使用 LMI 部署和扩展 LLM 进行推理所需的时间:Fast Model Loader。在这篇文章中,我们深入探讨了 Fast Model Loader 的技术细节,探索了它与现有 SageMaker 工作流程的集成,讨论了如何开始使用这项强大的新功能,并分享了客户成功案例。

在 SageMaker Inference 中引入快速模型加载器:加速大型语言模型 (LLM) 的自动扩展 - 第 2 部分

Introducing Fast Model Loader in SageMaker Inference: Accelerate autoscaling for your Large Language Models (LLMs) – Part 2

在本文中,我们提供了在 LLM 部署中实施 Fast Model Loader 的详细实践指南。我们探讨了两种方法:使用 SageMaker Python SDK 进行编程实现,以及使用 Amazon SageMaker Studio UI 获得更直观、更具交互性的体验。无论您是喜欢使用代码的开发人员还是喜欢图形界面的人,您都将学习如何利用这一强大功能来加速您的 LLM 部署。

使用 Chronos-Bolt 和 AutoGluon 进行快速准确的零样本预测

Fast and accurate zero-shot forecasting with Chronos-Bolt and AutoGluon

Amazon SageMaker 客户可以通过 AutoGluon-TimeSeries 和 Amazon SageMaker JumpStart 使用 Chronos 模型。在这篇文章中,我们介绍了 Chronos-Bolt,这是我们最新的预测 FM,已集成到 AutoGluon-TimeSeries 中。

使用 SageMaker 高效的多适配器推理轻松部署和管理数百个 LoRA 适配器

Easily deploy and manage hundreds of LoRA adapters with SageMaker efficient multi-adapter inference

Amazon SageMaker 的全新高效多适配器推理功能为使用微调模型的客户带来了激动人心的可能性。此功能与 SageMaker 推理组件集成,可让您通过 SageMaker API 部署和管理数百个经过微调的低秩自适应 (LoRA) 适配器。在本文中,我们将展示如何使用 SageMaker 中的全新高效多适配器推理功能。

使用 Amazon SageMaker 模型并行高效训练具有大序列长度的模型

Efficiently train models with large sequence lengths using Amazon SageMaker model parallel

在本文中,我们将演示 Amazon SageMaker 模型并行库 (SMP) 如何通过支持新功能来满足这一需求,例如用于加速训练性能的 8 位浮点 (FP8) 混合精度训练和用于处理大输入序列长度的上下文并行性,从而扩展其现有功能的列表。

使用 LLM 加强网络防御:Sophos 对将 LLM 与 Amazon Bedrock 和 Amazon SageMaker 结合使用的策略的见解

Using LLMs to fortify cyber defenses: Sophos’s insight on strategies for using LLMs with Amazon Bedrock and Amazon SageMaker

在本博文中,SophosAI 分享了使用 Amazon Bedrock 和 Amazon SageMaker 使用和评估开箱即用的 LLM 来提高安全运营中心 (SOC) 生产力的见解。我们使用 Amazon Bedrock 上的 Anthropic 的 Claude 3 Sonnet 来说明用例。

使用 AWS CDK 应用 Amazon SageMaker Studio 生命周期配置

Apply Amazon SageMaker Studio lifecycle configurations using AWS CDK

本篇文章是有关如何为您的 Amazon SageMaker Studio 域设置生命周期配置的分步指南。借助生命周期配置,系统管理员可以对其 SageMaker Studio 域及其用户应用自动控制。我们涵盖了 SageMaker Studio 的核心概念,并提供了如何将生命周期配置应用于 […] 的代码示例

Rad AI 使用 Amazon SageMaker 将实时推理延迟降低了 50%

Rad AI reduces real-time inference latency by 50% using Amazon SageMaker

本篇文章由 Rad AI 的 Ken Kao 和 Hasan Ali Demirci 共同撰写。Rad AI 重塑了放射学报告,开发了简化最繁琐和重复任务的解决方案,并节省了放射科医生的时间。自 2018 年以来,我们的旗舰产品 Rad AI Impressions 使用最先进的专有和开源大型语言模型 (LLM),大大减少了 […]

使用 AWS Inferentia 和 AWS Trainium 在 Amazon SageMaker JumpStart 中经济高效地部署 Meta Llama 3.1 模型

Deploy Meta Llama 3.1 models cost-effectively in Amazon SageMaker JumpStart with AWS Inferentia and AWS Trainium

我们很高兴地宣布,Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持,可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中,我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。