您的模型还确定吗? LLMS的不确定性意识公平评估

最近快速采用大语模型(LLMS)强调了基准对其公平性进行基准测试的关键需求。传统的公平度量指标集中在基于离散准确性的评估(即预测正确性)上,无法捕获模型不确定性的隐式影响(例如,尽管精度相似,但还是对一个组的更高模型置信度更高,而另一组的置信度更高)。为了解决这一限制,我们提出了一个不确定性意识的公平度量,ucerf,可以对模型公平进行精细的评估,与…

来源:Apple机器学习研究

最近快速采用大语模型(LLMS)强调了基准对其公平性进行基准测试的关键需求。传统的公平度量指标集中在基于离散准确性的评估(即预测正确性)上,无法捕获模型不确定性的隐式影响(例如,尽管精度相似,但还是对一个组的更高模型置信度更高,而另一组的置信度更高)。为了解决这一限制,我们提出了一个不确定性意识的公平度量,ucerf,可以对模型公平进行精细的评估,该评估与常规公平度量相比,这更反映了模型决策中的内部偏见。此外,在当前数据集中观察数据大小,多样性和清晰度问题,我们引入了一个新的性别占领公平评估数据集,其中包含31,756个样本,用于共同参考,提供了一个更多样化,更合适的数据集来评估现代LLM。我们使用我们的指标和数据集建立基准测试,并将其应用于评估十个开源LLM的行为。例如,Mistral-7b由于对不正确的预测的信心很高而表现出次优公平,这一细节被均衡的赔率忽略,但被UCERF捕获。总体而言,我们提出的LLM基准测试以不确定性意识评估公平性,为开发更透明和负责的AI系统铺平了道路。

    *在Carnegie Mellon University的Apple†机器人学院完成的工作‡纽约大学数据科学中心
  • *在Apple
  • †机器人学院,卡内基·梅隆大学
  • ‡纽约大学数据科学中心