本文演示了使用 Amazon Managed Grafana 仪表板的综合可观测性解决方案,该仪表板通过推理组件为 Amazon SageMaker AI 终端节点上提供的 LLM 提供质量和数量的整体视图。
在这篇文章中,您将学习如何构建一个多代理活动审核系统,该系统使用集成架构(结合了 NVIDIA NIM 进行 GPU 加速推理)来演示并行推理、上下文持久性和可追踪执行路径。 Amazon Bedrock AgentCore 提供托管运行时、共享内存和内置可观察性,Strands Agents 提供无服务器多代理编排。此方法支持生产环境中的性能、可扩展性和操作洞察力。虽然该示例侧重于营销内容审核,但相同的模式也适用于数字助理、审核自动化和检索增强生成管道。
Streamlining generative AI development with MLflow v3.10 on Amazon SageMaker AI
今天,我们很高兴地宣布 Amazon SageMaker AI MLflow 应用程序现已支持 MLflow 版本 3.10,为您的生成式 AI 工作流程带来增强的生成式 AI 开发功能和简化的实验跟踪。该最新版本建立在 Amazon SageMaker AI MLflow 应用程序的基础上,引入了强大的可观察性、评估和生成新功能 [...]