机构名称：
¥ 2.0
为防止算法偏见的监管努力，随着大型语言模型（LLMS）的快速进步，紧迫性提高了，这些模型是机器学习模型，可以在各种任务上实现与人类专家的绩效。这些举措的一个关键主题是算法“审计”，但是当前的法规以及科学文献，就如何进行这些评估提供了很少的指导。在这里，我们提出并研究一种用于审核算法的方法：通信实验，这是一种广泛应用的工具，用于检测人类法官的偏见。在就业环境中，通讯实验旨在通过实验操纵提交的申请材料来衡量种族和性别影响决策的程度，这些申请材料暗示了申请人的人口特征，例如其列出的名称。我们将这种方法应用于审计候选人评估，该评估是由几个最先进的LLMS产生的，使用了新的应用程序，以在大型公立学区的K-12教学职位上进行。我们找到了中等种族和性别差异的证据，这种模式在很大程度上可以改变模型的应用程序材料输入的类型，以及对LLMS任务的框架的框架。我们通过讨论审计算法的对应实验的一些重要局限性来得出结论。
审核语言模型指导招聘决策∗
主要关键词
相关文件推荐
