详细内容或原文请订阅后点击阅览
为什么上下文是AI的新货币：从抹布到上下文工程
上下文而不是计算，是智能系统的真实货币，为什么上下文是AI：从抹布到上下文工程中的新货币，首先出现在数据科学上。
来源:走向数据科学，我看到我们的生产系统失败了。不是代码错误，而不是基础架构错误，而只是误解了我们AI系统的优化目标。我们构建了我们认为的是一条精美的文档分析管道，其中具有检索功能增强的一代（抹布），矢量嵌入，语义搜索和微调的重读。当我们展示该系统时，它非常有说服力地回答了有关客户的监管文件的问题。但是在生产中，系统完全免费回答了问题。
启示在验尸会议上打击了我：我们没有管理信息检索，但我们正在管理上下文分发。我们对此很糟糕。
这种失败教会了我在AI行业中变得越来越清楚的东西：上下文不仅是要优化的另一个输入参数。相反，正是中心货币定义了AI系统是否提供实际价值或仍然是昂贵的杂物。与传统的软件工程（我们在速度，内存或吞吐量上进行优化）不同，上下文工程要求我们像人类一样将信息视为：分层，相互依存和依赖情境意识。
现代AI系统的背景危机
在我们研究潜在的解决方案之前，至关重要的是要确定为什么上下文已成为如此关键的障碍点。从技术角度来看，这不是问题。这更像是一个设计和哲学问题。
今天实施的大多数AI都将上下文视为固定尺寸的缓冲区，该缓冲区在处理前充满了相关信息。这在聊天机器人和提问系统的早期实施中效果很好。但是，随着AI应用程序及其纳入工作流程的越来越复杂，基于缓冲的方法已被证明是非常不足的。
让我们以典型的企业抹布系统为例。当用户输入问题时会发生什么？系统执行以下操作：