详细内容或原文请订阅后点击阅览
使用5行代码
当干净的代码隐藏效率低下时：我们从修复几行代码并节省了90％的LLM成本中学到的内容。帖子我们如何将LLM成本降低90％，而5行代码首先出现在数据科学方面。
来源:走向数据科学感觉一切似乎都正常，直到您在引擎盖下看并意识到您的系统燃烧的燃料比需要更多的燃料？
似乎我们有一个客户端脚本启动请求以验证我们的提示，该提示是用异步Python代码构建的，并在Jupyter笔记本中平稳运行。干净，简单且快速。我们定期运行它以测试我们的模型并收集评估数据。没有危险信号。没有警告。
但在那条抛光的表面下，静静出了问题。
我们没有看到失败。我们没有得到例外。我们甚至都没有注意到慢病。但是我们的系统所做的工作要比需要的要多得多，但我们没有意识到。
在这篇文章中，我们将介绍如何发现该问题，导致该问题的原因以及我们的异步代码的简单结构变化如何减少LLM流量和成本90％，而速度或功能几乎没有损失。
我们的异步代码中的简单结构变化减少了LLM流量，成本降低了90％，现在，公平的警告，阅读此帖子不会神奇地将您的LLM成本削减90％。但是这里的收获更广泛：小型，被忽视的设计决策，有时只有几行代码，可能会导致效率低下。从长远来看，有意理解您的代码如何运行可以节省您的时间，金钱和挫败感。
阅读此帖子不会神奇地将您的LLM成本削减90％ 小的，被忽视的设计决策，有时只有几行代码会导致效率低下。修复本身一开始可能会感觉到利基市场。它涉及Python异步行为的微妙之处，如何安排和派遣任务。如果您熟悉Python和Async/等待，那么您将从代码示例中获得更多信息，但是即使您不这样做，仍然有很多东西可以带走。因为这里的真实故事不仅与LLM或Python有关，因此与负责任的，高效的工程有关。
async
等待
负责，有效的工程
让我们挖掘。
设置
小子集这是我们客户端的简化版本：
true
Unplash