上下文工程:将工程学科带到提示 - 第3部分

以下是Addy Osmani的原始帖子“上下文工程:将工程学科带到零件”的第3部分。第1部分可以在此处建立和第2部分。上下文工程至关重要,但它只是构建成熟的LLM应用程序所需的较大堆栈的一个组成部分 - 以及控制流,模型编排,工具集成等事物,[…]

来源:O'Reilly Media _AI & ML

以下是Addy Osmani的原始帖子“上下文工程:将工程学科带到零件”的第3部分。第1部分可以在这里找到,第2部分。

以下是Addy Osmani的原始帖子的第3部分,“ 上下文工程:将工程学科带到零件 。”第1部分可以找到 在这里 和第2部分此处

上下文工程至关重要,但它只是构建成熟的LLM应用程序所需的较大堆栈的一个组成部分,即控制流,模型编排,工具集成和护栏等诸如控制流程之类的东西。

在Andrej Karpathy的单词中,上下文工程是“一小部分非平凡软件层的一小部分”,它为真正的LLM应用程序提供动力。因此,尽管我们专注于如何制作良好的背景,但重要的是要了解这在整体体系结构中的位置。

一小部分非平凡软件的厚层

生产级LLM系统通常必须处理许多不仅提示的问题。例如:

  • 问题分解和控制流程:而不是将用户查询视为一个整体提示,而是强大的系统通常将问题分解为子任务或多步工作流。例如,可能首先提示AI代理概述计划,然后在随后的步骤中提示执行每个步骤。设计此流程(提示以什么顺序调用;如何决定分支或循环)是一项经典的编程任务,除了“功能”是带有上下文的LLM调用。通过确保每个步骤的提示都具有所需的信息,因此上下文工程适合在此处,但是决定完全的决定是高级设计。这就是为什么您可以看到框架本质上编​​写一个脚本来协调多个LLM调用和工具用途的脚本的原因。
  • 问题分解和控制流: 完全有步骤 模型选择和路由: 工具集成和外部操作: 用户交互和UX流: 护栏和安全: 评估和监视: 调试 一种新型的应用程序架构

    结论