详细内容或原文请订阅后点击阅览
LLM 应用程序中跟踪令牌使用情况的初学者指南
如果你不跟踪代币，那么每次你的应用程序与法学硕士对话时，你基本上都是在烧钱。
来源:KDnuggets# 简介
#在构建大型语言模型应用程序时，代币就是金钱。如果您曾经与 GPT-4 这样的法学硕士合作过，您可能有过这样的时刻：您在检查账单时会想，“费用怎么会这么高？！” 您进行的每个 API 调用都会消耗令牌，这会直接影响延迟和成本。 但如果不跟踪它们，您就不知道它们被花在哪里或如何优化。
“它是怎么达到这么高的？！”这就是 LangSmith 的用武之地。它不仅可以跟踪您的 LLM 调用，还可以让您记录、监控和可视化工作流程中每个步骤的令牌使用情况。在本指南中，我们将介绍：
朗史密斯- 为什么令牌跟踪很重要？如何设置日志记录？如何在 LangSmith 仪表板中可视化令牌消耗？
# 为什么令牌跟踪很重要？
令牌跟踪很重要，因为与大型语言模型的每次交互都会产生与处理的令牌数量相关的直接成本，无论是在输入还是模型的输出中。如果没有监控，提示中的小效率低下、不必要的上下文或冗余请求可能会悄悄地增加您的费用并降低性能。
通过跟踪令牌，您可以准确了解它们的消耗位置。通过这种方式，您可以优化提示、简化工作流程并保持成本控制。例如，如果您的聊天机器人每个请求使用 1,500 个令牌，则将其减少到 800 个令牌可以将成本几乎减少一半。令牌跟踪概念的工作原理如下：
# 设置 LangSmith 进行令牌日志记录
// 第 1 步：安装所需的软件包
//pip3 安装 langchain langsmith 变压器加速 langchain_community
// 第 2 步：进行所有必要的导入
导入操作系统 从变压器进口管道 从 langchain.llms 导入 HuggingFacePipeline 从 langchain.prompts 导入 PromptTemplate 从 langchain.chains 导入 LLMChain 来自 langsmith 导入可追踪API 密钥 谷歌/flan-t5-base