Fine-tune and host SDXL models cost-effectively with AWS Inferentia2
随着技术的不断发展，新的模型不断涌现，提供更高的质量、更大的灵活性和更快的图像生成功能。StabilityAI 发布的 Stable Diffusion XL (SDXL) 就是这样一种突破性的模型，它将文本到图像的生成 AI 技术推向了前所未有的高度。在这篇文章中，我们演示了如何使用 SageMaker Studio 有效地微调 SDXL 模型。我们展示了如何准备经过微调的模型以在由 AWS Inferentia2 提供支持的 Amazon EC2 Inf2 实例上运行，从而为您的推理工作负载带来卓越的性价比。
Deploy Meta Llama 3.1-8B on AWS Inferentia using Amazon EKS and vLLM
在本文中，我们将介绍使用 Amazon EKS 在 Inferentia 2 实例上部署 Meta Llama 3.1-8B 模型的步骤。此解决方案将 Inferentia 2 芯片的卓越性能和成本效益与 Amazon EKS 的强大和灵活的环境相结合。Inferentia 2 芯片提供高吞吐量和低延迟推理，非常适合 LLM。
Enhanced observability for AWS Trainium and AWS Inferentia with Datadog
本博文将引导您了解 Datadog 与 AWS Neuron 的新集成，它通过提供对资源利用率、模型执行性能、延迟和实时基础设施运行状况的深度可观察性来帮助您监控 AWS Trainium 和 AWS Inferentia 实例，使您能够优化机器学习 (ML) 工作负载并实现大规模高性能。
我们很高兴地宣布，Meta Llama 3.1 8B 和 70B 推理支持已在 Amazon SageMaker JumpStart 中的 AWS Trainium 和 AWS Inferentia 实例上推出。 Trainium 和 Inferentia 由 AWS Neuron 软件开发工具包 (SDK) 提供支持，可提供高性能并将 Meta Llama 3.1 的部署成本降低高达 50%。在这篇文章中，我们演示了如何在 SageMaker JumpStart 中的 Trainium 和 Inferentia 实例上部署 Meta Llama 3.1。
On the Programmability of AWS Trainium and Inferentia
使用自定义运算符加速 AI/ML 模型训练 — 第 4 部分照片由 Agata Bres 在 Unsplash 上拍摄在这篇文章中，我们继续探索通过自定义运算符开发来优化机器学习 (ML) 工作负载运行时的机会。这一次，我们重点介绍 AWS Neuron SDK 提供的工具，用于在 AWS Trainium 和 AWS Inferentia 上开发和运行新内核。随着推动 AI 革命的低级模型组件（例如注意层）的快速发展，用于训练和运行 ML 模型的加速器的可编程性至关重要。专用 AI 芯片必须为广泛使用且影响深远的通用 GPU (GPGPU) 开发框架（例如 CUDA 和 Triton）提供有
AI Model Optimization on AWS Inferentia and Trainium
使用 AWS Neuron SDK 加速 ML 的技巧照片由 julien Tromeur 在 Unsplash 上拍摄我们正处于人工智能的黄金时代，尖端模型颠覆了行业并准备改变我们所知的生活。推动这些进步的是越来越强大的人工智能加速器，例如 NVIDIA H100 GPU、Google Cloud TPU、AWS 的 Trainium 和 Inferentia 芯片等。随着选项数量的增加，选择最适合我们的机器学习 (ML) 工作负载的平台的挑战也随之而来——考虑到与 AI 计算相关的高成本，这是一个至关重要的决定。重要的是，对每个选项进行全面评估需要确保我们最大限度地利用它以充分利用其功能。
Serving LLMs using vLLM and Amazon EC2 instances with AWS AI chips
在过去一年中，大型语言模型 (LLM) 和生成式 AI 的使用呈爆炸式增长。随着强大的公开基础模型的发布，用于训练、微调和托管您自己的 LLM 的工具也变得民主化。在 AWS Trainium 和 Inferentia 上使用 vLLM 可以托管 LLM 以实现高性能 [...]
在本文中，我们将介绍如何使用 Amazon EC2 Inf2 实例在专用 AWS AI 芯片 AWS Inferentia2 上经济高效地部署多个行业领先的 LLM，帮助客户快速测试并开放 API 接口，以同时促进性能基准测试和下游应用程序调用。
AWS AI chips deliver high performance and low cost for Llama 3.1 models on AWS
今天，我们很高兴地宣布 AWS Trainium 和 AWS Inferentia 支持 Llama 3.1 模型的微调和推理。Llama 3.1 系列多语言大型语言模型 (LLM) 是一组预先训练和指令调整的生成模型，大小分别为 8B、70B 和 405B。在上一篇文章中，我们介绍了如何在 Amazon SageMaker JumpStart 中基于 AWS Trainium 和 Inferentia 的实例上部署 Llama 3 模型。在这篇文章中，我们概述了如何开始在 AWS AI 芯片上微调和部署 Llama 3.1 系列模型，以实现其性价比优势。
Scale and simplify ML workload monitoring on Amazon EKS with AWS Neuron Monitor container
Amazon Web Services 很高兴地宣布推出 AWS Neuron Monitor 容器，这是一种创新工具，旨在增强 Amazon Elastic Kubernetes Service (Amazon EKS) 上 AWS Inferentia 和 AWS Trainium 芯片的监控功能。该解决方案简化了 Prometheus 和 Grafana 等高级监控工具的集成，使您能够 [...]
