详细内容或原文请订阅后点击阅览
构建可靠 AI 应用程序的 LLM 三角原则
软件设计原则，用于精心设计可靠、高性能的 LLM 应用程序。一个框架，用于弥合潜在性能和生产级性能之间的差距。大型语言模型 (LLM) 具有巨大的潜力，但开发可靠的生产级应用程序仍然具有挑战性。在构建了数十个 LLM 系统之后，我将成功的公式提炼为任何团队都可以应用的四个基本原则。“LLM 原生应用程序 10% 是复杂的模型，90% 是实验数据驱动的工程工作。”构建可用于生产的 LLM 应用程序需要谨慎的工程实践。当用户无法直接与 LLM 交互时，必须精心编写提示以涵盖所有细微差别，因为可能无法获得迭代用户反馈。介绍 LLM 三角原则LLM 三角原则概括了构建有效 LLM 原生应用程序的基本准则。它们提供了坚实的概念框架，指导开发人员构建强大而可靠的 LLM 原生应用程序，并提供指导和支持。通过 SOP 的视角优化三个突出的原则，可以实现最佳的 LLM 使用。（图片来自作者）关键顶点LLM 三角原则引入了四个编程原则，以帮助您设计和构建 LLM 原生应用程序。第一个原则是标准操作程序 (SOP)。SOP 指导我们三角形的三个顶点：模型、工程技术和上下文数据。优化
来源:走向数据科学4. 上下文数据
LLM 是上下文学习者。这意味着通过提供特定于任务的信息，LLM 代理可以帮助我们执行任务，而无需特殊培训或微调。这使我们能够轻松地“教授”新知识或技能。在考虑上下文数据原则时，我们应该致力于组织和建模可用数据以及如何在提示中编写它。
LLM 是上下文学习者。 LLM 是上下文学习者。 没有 上下文数据原则为了编写我们的上下文，我们在发送给 LLM 的提示中包含了相关（上下文）信息。我们可以使用两种上下文：
- 嵌入式上下文 — 作为提示的一部分提供的嵌入式信息片段。
您是 的得力助手， 的您是 的得力助手， 的
- 附件上下文 — 提示开头/结尾处粘贴的信息片段列表
总结所提供的电子邮件，同时保持友好的语气。---总结所提供的电子邮件，同时保持友好的语气。---
上下文通常使用“提示模板”（例如 jinja2 或 mustache 或简单的本机）实现格式化文字字符串）；这样，我们可以优雅地编写它们，同时保留提示的本质：
jinja2 mustache 格式化文字字符串# 带有附件的嵌入式上下文 contextprompt = f"""您是 {name} 的得力助手。{name} 是 {company} 的 {role}。帮我写一个 {tone} 回复附件的电子邮件。始终使用以下方式签署您的电子邮件：{signature}---{email}"""