详细内容或原文请订阅后点击阅览
您的模型还确定吗？ LLMS的不确定性意识公平评估
最近快速采用大语模型（LLMS）强调了基准对其公平性进行基准测试的关键需求。传统的公平度量指标集中在基于离散准确性的评估（即预测正确性）上，无法捕获模型不确定性的隐式影响（例如，尽管精度相似，但还是对一个组的更高模型置信度更高，而另一组的置信度更高）。为了解决这一限制，我们提出了一个不确定性意识的公平度量，ucerf，可以对模型公平进行精细的评估，与…
来源:Apple机器学习研究最近快速采用大语模型（LLMS）强调了基准对其公平性进行基准测试的关键需求。传统的公平度量指标集中在基于离散准确性的评估（即预测正确性）上，无法捕获模型不确定性的隐式影响（例如，尽管精度相似，但还是对一个组的更高模型置信度更高，而另一组的置信度更高）。为了解决这一限制，我们提出了一个不确定性意识的公平度量，ucerf，可以对模型公平进行精细的评估，该评估与常规公平度量相比，这更反映了模型决策中的内部偏见。此外，在当前数据集中观察数据大小，多样性和清晰度问题，我们引入了一个新的性别占领公平评估数据集，其中包含31,756个样本，用于共同参考，提供了一个更多样化，更合适的数据集来评估现代LLM。我们使用我们的指标和数据集建立基准测试，并将其应用于评估十个开源LLM的行为。例如，Mistral-7b由于对不正确的预测的信心很高而表现出次优公平，这一细节被均衡的赔率忽略，但被UCERF捕获。总体而言，我们提出的LLM基准测试以不确定性意识评估公平性，为开发更透明和负责的AI系统铺平了道路。
- *在Carnegie Mellon University的Apple†机器人学院完成的工作‡纽约大学数据科学中心