使用Datadog LLM可观察性

我们很高兴宣布Datadog LLM可观察性与亚马逊基岩代理之间的新集成,以帮助监视基于亚马逊基岩建造的代理应用程序。在这篇文章中,我们将探讨Datadog的LLM可观察性如何提供成功监视,操作和调试生产级代理应用所需的可见性和控制性。

来源:亚马逊云科技 _机器学习
这篇文章与Datadog的Mohammad Jama,Yun Kim和Barry Eom共同撰写。近年来,生成的AI代理的出现改变了AI景观,这是由大语言模型(LLMS)和自然语言处理(NLP)的进步所驱动的。重点是从简单的AI助手转变为可以思考,迭代并采取行动来解决复杂任务的代理AI系统。这些代理AI系统可能会使用多个代理,与组织内部和外部的工具相互作用以做出决策,并与知识源联系以了解过程。尽管这些自主系统可帮助组织提高工作场所的生产力,简化业务工作流程以及改变研究等等,但它们引入了其他操作要求。为了确保可靠性,性能和负责任的人工智能使用,团队需要专门构建的可观察性解决方案来跟踪代理行为,协调和执行流。亚马逊基岩代理的多代理系统协作能力使其直接且快速地构建这些系统。开发人员可以通过将复杂的用户请求分解为多个步骤,调用内部API,访问知识库并维持上下文对话来配置一组协调的代理,而无需管理逻辑本身。性能,质量和安全问题,例如延迟峰值,幻觉,工具选择或及时注射尝试。通过完全了解模型行为和应用程序上下文,开发人员可以更快地识别,故障排除和解决问题。我们很高兴宣布Datadog LLM可观察性与亚马逊床架代理之间的新集成,以帮助MON