CloudWatch关键词检索结果

利用 TTFT 和估计配额消耗的新 CloudWatch 指标提高 Amazon Bedrock 上推理工作负载的运营可见性

Improve operational visibility for inference workloads on Amazon Bedrock with new CloudWatch metrics for TTFT and Estimated Quota Consumption

今天,我们宣布针对 Amazon Bedrock 推出两个新的 Amazon CloudWatch 指标:TimeToFirstToken 和 EstimatedTPMQuotaUsage。在这篇文章中,我们将介绍它们的工作原理以及如何设置警报、建立基线以及使用它们主动管理容量。

使用 Union.ai 和 Flyte 在 Amazon EKS 上构建 AI 工作流程

Build AI workflows on Amazon EKS with Union.ai and Flyte

在这篇文章中,我们将解释如何使用 Flyte Python SDK 来编排和扩展 AI/ML 工作流程。我们探索 Union.ai 2.0 系统如何在 Amazon Elastic Kubernetes Service (Amazon EKS) 上部署 Flyte,并与 Amazon Simple Storage Service (Amazon S3)、Amazon Aurora、AWS Identity and Access Management (IAM) 和 Amazon CloudWatch 等 AWS 服务无缝集成。我们使用新的 Amazon S3 Vectors 服务通过 AI 工