如何在3个步骤中分析和优化LLM

生产中，积极响应用户查询。但是，您现在想改善模型，以成功处理更大的客户请求。您如何处理？

在本文中，我讨论了您已经拥有运行llm并想要分析和优化其性能的方案。我将讨论我用来发现LLM在哪里工作以及需要改进的方法。此外，我还将使用诸如Anthropic的及时优化器之类的工具来讨论我用来提高LLM性能的工具。

简而言之，我遵循一个三步的过程，以快速提高我的LLM的性能：

分析LLM输出术语改善努力评估和迭代的价值最大的区域

分析LLM输出

迭代地改善了努力最有价值的区域

评估和迭代

目录

动机

我本文的动机是，我经常发现自己在介绍中描述的情况下。我已经开始运行我的LLM；但是，它的性能并没有按预期或达到客户期望。通过无数的分析LLM的经验，我创建了这个简单的三步过程，我总是用来改善LLM。

步骤1：分析LLM输出

提高LLM的第一步应始终是分析其输出。为了在您的平台中具有很高的可观察性，我强烈建议使用LLM Manager工具进行跟踪，例如Langfuse或Proftslayer。这些工具使您可以简单地将所有LLM调用在一个地方收集，以便进行分析。

langfuse 提示器

现在，我将讨论一些用于分析LLM输出的不同方法。

手动检查原始输出

分析LLM输出的最简单方法是手动检查许多LLM调用。您应该收集最后的50个LLM调用，仔细阅读您馈入模型的整个上下文，以及模型提供的输出。我发现这种方法在发现问题方面有效。例如，我发现了：

等。

…

足够好