详细内容或原文请订阅后点击阅览
为什么添加更多 AI 代理会使我们的系统变慢
异步系统的隐性成本，在扩展数百个 LLM 代理时，微小的 CPU 任务如何悄然成为我们最大的瓶颈。为什么添加更多 AI 代理使我们的系统变慢的帖子首先出现在《走向数据科学》上。
来源:走向数据科学围绕法学硕士。您正在解决以前不可能完成的挑战，现在可以使用法学硕士来解决。您将前几个代理部署到系统中，一切看起来都很好。顾客很高兴。回复不是最快的，法学硕士往往相当慢，但这是可以管理的。
然而，当您开始部署越来越多的代理时，您开始注意到奇怪的异常情况。延迟开始缓慢但稳定地增加。首先，您假设是法学硕士提供者。也许新的 OpenAI 模型更慢。也许 Anthropic 负载很重。无论如何，LLM 本身就很慢，对吗？
然后您开始看到超时错误。当您深入研究日志和指标时，会发现有些东西并没有加起来。 OpenAI 声称请求很快就能完成，但您的代理却需要很长时间才能响应。
“OpenAI 一定是在骗我们！”
然后是痛苦的认识。
OpenAI 不是问题。我们的代码是。
在普朗克，我们正是经历了这样的转变。随着我们的代理生态系统的发展，我们的响应时间也在不断增长。这是我们如何发现真正的瓶颈以及如何解决它的故事。
如果您开始在生产中使用 LLM 代理并想知道它们将如何扩展，如果您是一名 AI 工程师，或者如果您只是喜欢挑战异步系统设计问题，我邀请您跟随。
设置
在普朗克，我们有几个 LLM 代理在生产中运行。它们都由单个服务提供服务，这意味着单个请求，无论是通过 HTTP 还是工作队列，都会同时触发所有代理。然后，每个代理都会向自己的子代理拨打数十个电话。
这是 Python 代码的简化版本：
乍一看，这个架构看起来很理想。几乎所有工作都受 I/O 限制，因此使用 Python 的异步生态系统允许每个代理同时执行。因此，请求的延迟应由最慢的 LLM 调用决定，而不是由代理总数决定。
至少，这是我们所期望的。