详细内容或原文请订阅后点击阅览
LLM 温度🔥🌡️ 综合指南
在构建我自己的基于 LLM 的应用程序时，我发现了许多提示工程指南，但很少有用于确定温度设置的等效指南。当然，温度是一个简单的数值，而提示可能会变得非常复杂，因此作为产品决策，它可能感觉微不足道。尽管如此，选择合适的温度可以极大地改变 […]The post LLM 温度综合指南🔥🌡️ 首先出现在 Towards Data Science 上。
来源:走向数据科学在构建我自己的基于法学硕士的应用程序时，我发现了许多提示工程指南，但很少有用于确定温度设置的等效指南。
当然，温度是一个简单的数值，而提示可能会变得极其复杂，因此作为产品决策，它可能会感觉微不足道。尽管如此，选择正确的温度可以极大地改变输出的性质，任何构建生产质量 LLM 应用程序的人都应该有目的地选择温度值。
在这篇文章中，我们将探讨什么是温度及其背后的数学原理、潜在的产品影响，以及如何为您的法学硕士申请选择合适的温度并对其进行评估。最后，我希望您有一个明确的行动方针，为每个法学硕士用例找到合适的温度。
什么是温度？
温度是一个控制 LLM 输出随机性的数字。大多数 API 将值限制为 0 到 1 或某个类似的范围，以保持输出在语义上一致的范围内。
来自 OpenAI 的文档：
“较高的值（如 0.8）将使输出更加随机，而较低的值（如 0.2）将使其更加集中和确定性。”
直观上，它就像一个旋钮，可以调整模型在给出答案时的“探索性”或“保守性”程度。
这些温度值意味着什么？
就我个人而言，我发现温度场背后的数学非常有趣，所以我将深入研究它。但如果您已经熟悉法学硕士的内部结构或者您对它们不感兴趣，请随时跳过本节。
请随意跳过此部分您可能知道 LLM 通过预测给定标记序列后的下一个标记来生成文本。在预测过程中，它为接下来可能出现的所有可能的标记分配概率。例如，如果传递给 LLM 的序列是“The giraffe ran over to the...”，它可能会为“tree”或“fence”等单词分配较高的概率，而为“apartment”或“book”等单词分配较低的概率。
逻辑 softmax e 低