为什么人工智能工程师从 LangChain 转向原生代理架构

框架加速了第一波 LLM 应用程序的发展,但生产需要不同的架构。为什么 AI 工程师超越 LangChain 转向本机代理架构一文首先出现在 Towards Data Science 上。

来源:走向数据科学

与这个主题密切相关,它带回了一些在几个项目上工作的经验。

采取这样的场景:您发布了一个由 LLM 支持的功能,演示很干净,所有利益相关者都很高兴。生产三周后,出现了一些无人能解释的故障。

您花了一个下午的时间盯着日志,这些日志告诉您发生了什么,但没有告诉您原因。

然后事实证明,框架吞没了第三步和第四步之间的上下文,现在您正在阅读不是您编写的源代码。

这不是错误报告;这是关于架构的警钟。

像 LangChain 这样的框架让工程师可以构建由 LLM 驱动的系统,而无需首先了解这些系统在压力下如何工作。乍一听,好像是骑兵来了。

但请相信我,直到您深陷生产事件时,成本才会显现出来,现在您想知道为什么您的代理跳过了应该运行的验证步骤。

这篇文章是关于这个成本以及为什么更多的工程师在发现它之后现在正在自己构建编排层。

为浪链点赞

我记得在 2023 年初的某个时候,看到一位同事在大约四十分钟内构建了一个工作 RAG 管道。

他从矢量商店开始,通过检索链、提示模板和 LLM 电话,所有这些都在午餐时间连接起来。

六个月前,这至少是一个为期两周的项目。

仔细想想,这其实就是浪链传播得如此之快的原因。

大多数工程师之前没有构建过 LLM 应用程序。没有人对构建检索链或管理对话内存和其他类似内容的正确方法有强烈的看法。

LangChain 给出了模块化、可组合且文档化的答案,当然,团队立即抓住了它们,包括我的。

抽象被打破的地方

LangChain 将同样的想法应用于 LLM 编排。它隐藏了系统内部发生的许多事情,以便您可以更快地行动。

最后的想法