无监督 LLM 评估
从业者判断大型语言模型输出的指南评估人工智能生成的输出对于构建大型语言模型的稳健应用程序至关重要，因为它允许将复杂的人工智能应用程序拆分为具有内置错误控制的简单阶段。在监督模式下评估生成输出相对简单，其中“正确答案”可以由人类评估者计算或提示。同时，在许多实际的 LLM 应用中，监督方法过于严格，需要能够解决开放式问题的评估。构建无监督评估器的最简单方法是要求 LLM 自我评估。然而，生成模型检测自身输出错误的能力尚不清楚。我们证明，通过迭代自我反思可以提高自我评估的质量。与“思想链”技术类似，该方法以推理时的计算量换取最终结果的稳健性。带有示例的 Google Colab 笔记本链接：https://colab.research.google.com/drive/1q_dChQBMbnUXZ377JVwYsjvn7lZ_7qlZ?usp=sharing图片来源：Flux 1. Pro 模型提示“机器人评估其他机器人”简介在使用大型语言模型构建处理管道时，经常提到的问题是生成的输出的质量。如果有一个好的评估过程，它可以突出显示性能不佳的情况并触发 LLM 微调，提示调整
来源:走向数据科学无监督的LLM评估
判断大语模型输出的从业者指南
评估AI生成的产出对于构建大型语言模型的可靠应用至关重要，因为它允许复杂的AI应用程序分为具有内置错误控制的简单阶段。它相对简单地对监督模式进行评估的生成输出相对简单，在该模式下，可以通过人类的评估者计算或在其中进行“正确的限制”，并在许多实践中进行限制的方法，在许多实践中，在许多实践中进行了验证。能够解决开放式问题的评估。建立无监督评估者的最简单方法是要求LLM评估自身。但是，生成模型检测自己输出中错误的能力尚不清楚。我们证明，可以通过迭代自我反射来提高自我评估的质量。与“思想链”技术类似，此方法在推断最终结果的鲁棒性时进行了计算。
评估AI生成的输出对于构建大型语言模型的可靠应用至关重要，因为它允许使用内置错误控制的复杂AI应用程序分为简单的阶段。
在监督模式下评估生成性产量相对简单，在该模式下可以计算或暗示人类评估者的“正确答案”。
同时，在许多实用的LLM应用程序中，监督方法过于限制，并且有必要评估能够解决开放式问题。建立无监督评估者的最简单方法是要求LLM评估自身。但是，生成模型检测其输出中错误的能力尚不清楚。
我们证明，可以通过迭代自我反省来提高自我评估的质量。与“思想链”技术类似，此方法在推断最终结果的鲁棒性时进行了计算。