新报告:人工智能对人的决策有多公平?

来源:曼哈顿政策研究所信息

人口统计信息可能会影响高风险环境中的 LLM 选择

纽约州纽约 – 随着大型语言模型 (LLM) 越来越多地用于支持有关晋升、裁员、贷款和其他高风险选择的决策,考虑这些系统在决策过程中是否公平非常重要。

在曼哈顿学院的一份新报告中,新西兰奥塔哥理工学院的 David Rozado 测试了基于法学硕士的人工智能系统如何在危急情况下的两个人之间做出决定,从积极/有利的结果(例如升职和大学录取)到消极/不利的结果(例如裁员、驱逐和驱逐)。 该研究系统地交换了匹配的候选对之间的性别和种族标签,因此罗扎多可以检查人口统计信号或提示结构是否独立改变了模型决策。

结果显示出可衡量的效果,尽管效果不大:

  • 在有利的结果情况下,法学硕士选择女性候选人的频率略高于男性候选人,即使通过交换候选人对的性别分配来平衡相关因素;
  • 在有利的结果情景中,大多数模型没有表现出统计上显着的种族偏见;
  • 在不利的结果情况下,法学硕士在性别和种族方面通常是平衡的;
  • 在提示中首先列出的候选人更有可能被大多数模型选择为有利的结果场景,因此表明 LLM 选择中存在任意但显着的提示顺序偏差。
  • Rozado 还发现,当人口统计线索(例如明确的性别或种族字段)被消除时,差异会大大减少或完全消除(尽管 Rozado 承认姓名仍然可以充当隐含的信号)。

    为了确保 AI 决策尽可能公平,Rozado 建议如下:

  • 只要在模型输入中可行,就隐藏人口统计线索,包括姓名等代理信号;
  • 单击此处查看完整报告。