可观察性关键词检索结果

Amazon SageMaker AI LLM 推理的全面可观察性:从 GPU 利用率到 LLM 质量

Comprehensive observability for Amazon SageMaker AI LLM inference: From GPU utilization to LLM quality

本文演示了使用 Amazon Managed Grafana 仪表板的综合可观测性解决方案,该仪表板通过推理组件为 Amazon SageMaker AI 终端节点上提供的 LLM 提供质量和数量的整体视图。

使用 Strands Agents、NVIDIA NIM 和 Amazon Bedrock AgentCore 构建高性能生成式 AI 系统

Build high-performance generative AI systems with Strands Agents, NVIDIA NIM, and Amazon Bedrock AgentCore

在这篇文章中,您将学习如何构建一个多代理活动审核系统,该系统使用集成架构(结合了 NVIDIA NIM 进行 GPU 加速推理)来演示并行推理、上下文持久性和可追踪执行路径。 Amazon Bedrock AgentCore 提供托管运行时、共享内存和内置可观察性,Strands Agents 提供无服务器多代理编排。此方法支持生产环境中的性能、可扩展性和操作洞察力。虽然该示例侧重于营销内容审核,但相同的模式也适用于数字助理、审核自动化和检索增强生成管道。

使用 Amazon SageMaker AI 上的 MLflow v3.10 简化生成式 AI 开发

Streamlining generative AI development with MLflow v3.10 on Amazon SageMaker AI

今天,我们很高兴地宣布 Amazon SageMaker AI MLflow 应用程序现已支持 MLflow 版本 3.10,为您的生成式 AI 工作流程带来增强的生成式 AI 开发功能和简化的实验跟踪。该最新版本建立在 Amazon SageMaker AI MLflow 应用程序的基础上,引入了强大的可观察性、评估和生成新功能 [...]