详细内容或原文请订阅后点击阅览
调试和追踪LLM，例如Pro
调试LLM很重要，因为它们的工作流程很复杂，并且涉及链，提示，API，工具，猎犬等多个部分。
来源:KDnuggets＃简介
＃使用Print（）或记录作品的传统调试，但LLMS缓慢而笨拙。 Phoenix提供了每个步骤，提示和响应检查，错误检测，重试，可见性和成本的可见性以及对应用程序的完全视觉理解的时间表。 Arize AI的Phoenix是专门为LLM应用程序设计的强大的开源可观察性和跟踪工具。它可以通过视觉上的LLM管道中监视，调试和跟踪所有发生的一切。在本文中，我们将介绍凤凰城的工作以及为什么重要的原因，如何将凤凰城与兰链逐步集成在一起，以及如何可视化凤凰UI中的痕迹。
print（）
＃什么是凤凰？
Phoenix是针对大型语言模型应用程序制作的开源可观察性和调试工具。它从LLM工作流中捕获了详细的遥测数据，包括提示，响应，延迟，错误和工具使用情况，并在直观的交互式仪表板中介绍此信息。 Phoenix允许开发人员深入了解其LLM管道如何在系统内部表现，通过及时输出来识别和调试问题，分析性能瓶颈，使用令牌和相关成本进行监控，并在执行阶段跟踪任何错误/重试逻辑。它支持与Langchain和LlamainDex等流行框架的一致集成，还为更定制的设置提供了OpenTelemetry的支持。
＃逐步设置
// 1。安装所需库
//确保您有Python 3.8+并安装依赖项：
pip安装arize-phoenix langchain langchain-toperther openInference-intrumentation-langchain langchain-community
// 2。启动Phoenix
添加此行以启动Phoenix仪表板：
将凤凰导入为PX px.launch_app（）
这在http：// localhost：6006启动了本地仪表板。
http：// localhost：6006