Deepgram 通过增强指标加深 Amazon SageMaker AI 可观测性

自托管语音 AI 需要进行可观察性权衡:驱动容量规划和成本管理的数字被锁定在供应商容器内。 Deepgram 通过两项功能缩小了 Amazon SageMaker AI 的这一差距,这些功能可将计费、使用情况和每个 GPU 指标直接存入您自己的 Amazon CloudWatch 账户中。

来源:亚马逊云科技 _机器学习

自托管语音 AI 历史上一直在可观察性上进行权衡。该服务可以告诉您端点已启动以及它服务了多少个请求。真正推动容量规划和成本管理的问题仍然锁定在供应商的容器中:您需要支付什么费用,您的流量使用哪些功能,以及推理引擎在每个 GPU 上做什么。

如果您在 SageMaker AI 上运行 Deepgram 的语音转文本 (STT) 和文本转语音 (TTS) 模型,音频和文字记录将保留在您自己的 AWS 账户中。这可以帮助支持您的数据驻留和合规性工作,而无需放弃用于部署、扩展和监控的托管控制平面。您的具体义务取决于您自己的控制和评估,因此请咨询您的合规团队并查看 AWS 责任共担模型。

Deepgram 正在通过以下两项创新缩小计费、功能使用和引擎行为方面的差距,这些创新现已在 Deepgram SageMaker AI 部署中可用。

  • Deepgram 增强指标:Deepgram 容器直接发布到您的 Amazon CloudWatch 账户中的使用情况和计费指标,无需代理、无 sidecar,也无需额外的 IAM 权限。这些消耗单位值与驱动 AWS Marketplace 计量计费的消耗单位值相同,因此您可以根据模型和传输的实际流量来协调 AWS 账单。
  • Prometheus 和 OpenTelemetry 支持:直接从 Deepgram 容器中抓取的引擎级 Prometheus 指标以及每个 GPU 加速器和主机指标。两者都是通过 SageMaker AI 收集详细的可观察性,并可使用来自 CloudWatch、Grafana 或任何 Prometheus 兼容工具的 PromQL 进行查询。
  • 在这篇文章中,我们将介绍这两种功能:它们如何工作、它们向您展示以前看不到的内容,以及如何开始在 Deepgram SageMaker AI 端点上使用它们。

    Amazon SageMaker AI 上的 Deepgram

    创新 1:通过 Deepgram 增强指标实现计费和使用透明度

    工作原理:记录路径上的指标