上下文工程：将工程学科带到提示 - 第2部分

以下是Addy Osmani的原始帖子“上下文工程：将工程学科带入零件”的第3部分。第1部分可以在这里找到。

以下是Addy Osmani的原始帖子的第3部分，“ 上下文工程：将工程学科带到零件 。”第1部分可以找到 在这里 。

出色的上下文工程达到平衡 - 包括模型真正需要的一切，但避免无关紧要或过度细节，以分散注意力（并增加成本）。

正如Andrej Karpathy所描述的那样，上下文工程是科学与艺术的精致组合。

科学 art

“科学”部分涉及遵循某些原理和技术以系统地提高性能。例如，如果您正在进行代码生成，那么您应该包括相关的代码和错误消息几乎是科学的；如果您要进行提问，则可以检索支持文档并将其提供给模型是合乎逻辑的。有一些既定的方法，例如很少的射击提示，检索仪（RAG）以及经过思考的促进链，我们知道（通过研究和试验）可以提高结果。尊重模型的约束也有一门科学 - 每个模型都有上下文长度的限制，并且插入该窗口不仅可以增加延迟/成本，而且如果重要的部分在噪音中丢失，则可能会降低质量。

降级

karpathy很好地总结了这一点：“太少或错误的形式，LLM没有正确的最佳性能上下文。太多或太无关紧要，LLM的成本可能会上升，性能可能会下降。”

长 上下文中毒 上下文干扰

然后是“艺术”方面 - 经验所生的直觉和创造力。

这是提示作品（从旧意义上讲）仍然很重要的地方

让我们探索一些常见的策略和模式。

检索相关知识： 几乎没有示例和角色说明： 系统角色 子集 管理状态和内存： 摘要压缩 什么 如何