大多数人工智能代理在生产中都会失败,因为它们的构建方式是向后的

好的模型并不能拯救糟糕的架构,大多数团队都经历了惨痛的教训才知道这一点。大多数 AI 代理在生产中失败是因为它们的构建方式落后一文首先出现在《走向数据科学》上。

来源:走向数据科学

代理系统在生产中严重失败,情况并不严重。没有发生车祸。没有错误消息。系统只是继续运行并产生看起来合理的输出,直到有人真正仔细地阅读它们,发现有什么问题。

当我们决定调查它时,我们花了两天的时间进行调试才弄清楚发生了什么。有趣的是,该模型并没有产生幻觉,输入输出工具也提供了正确的结果。

当我们最终发现问题时,问题出在架构上。模型和工具设置正确,但其想法是推理将整个事情联系在一起,正如您所猜想的那样,这显然失败了。

事实证明,推理不会做那种事情。

当我思考为什么这么多在演示中工作的人工智能代理无法真正在现实世界中使用时,我会不断回想起这段经历。

这不是能力问题。

这是一个建筑性的。

如果您读过我之前关于 TDS 的文章《为什么 AI 工程师从 LangChain 转向本机代理架构》,那么这种模式听起来应该很熟悉:自上而下构建的系统,从目标到工具再到模型,并悄悄假设智能行为填补了空白。

这个假设就是“向后构建”的意思。在出现问题之前,这种情况比大多数团队意识到的更为常见。

代理不是实体。他们是系统。

生产型人工智能代理并不是一个单一的智能事物。

相反,有一组具有不同职责、故障模式和可观察性级别的交互部分。

LLM 是这些组件之一,而不是整个系统。只是其中的一块。

当您大声说出来时,这可能听起来很明显。但主导 2023 年和 2024 年大部分时间的“自主代理”框架不断将工程师拉向一种不同的思维模型:一个实体,一个推理循环,一切都由模型处理。

你所需要的只是工具、良好的系统提示以及一切顺利的希望。

这是向后的部分。

没有。