对 Timnit Gebru 和 Google 道德 AI 团队的支持 过去三年来,加州大学伯克利分校的 AFOG 受益于 Google 道德 AI 团队的几位成员参加我们的工作组会议和研讨会。最近,该团队的联合负责人 Timnit Gebru 博士因要求在她和她的团队成员进行的研究的内部审查过程中提高透明度和程序公平性而被解雇。AFOG 小组的成员研究数字技术在社会中的作用,并寻求建立更好、更公平的系统的方法。数十年来的技术史研究表明,技术不可避免地具有政治性。它们以独特的方式构建和调解人与人之间的关系。虽然数字技术具有巨大的潜在效益,但总有缺点、风险和危害需要考虑。这些风险并非均匀分布,而是经常遵循现有权力等级制度。根据我们在此领域的研究,我们了解到:
• 机制:预测性人工智能可以将因性别歧视而导致的现有女性在管理层中代表性不足转化为有偏见的招聘结果(Cowgill 和 Tucker,2020 年;Gebru,2020 年;Daugherty
zeynep tufekci我们正在建立一个反乌托邦,只是为了使人们点击C. O'Neill武器数学破坏武器
算法在不同的人口群体中可能表现不同。例如,如果一个心理健康工具主要基于来自白人中产阶级的数据进行训练,那么它可能无法准确诊断或治疗其他种族人群的疾病(Buolamwini 和 Gebru 2018)。偏见的另一个来源是人工智能工具的设计和开发过程。如果开发团队缺乏多样性或未能考虑不同人群的具体需求,那么最终的工具可能会无意中反映出其创造者的偏见。这可能导致工具对某些群体效率较低甚至有害,加剧心理健康护理中现有的差距(Gebru 等人 2020)。此外,算法本身也会带来偏见。例如,机器学习算法通常会优化准确性或效率而不考虑公平性。因此,它们可能会强化数据中现有的偏见,甚至通过其决策过程产生新的偏见(Hardt 等人 2016)。
随着人工智能系统使用范围的不断扩大,围绕人工智能公平性和偏见的讨论也愈演愈烈,因为潜在的偏见和歧视也变得越来越明显。本调查研究了人工智能公平性和偏见的来源、影响和缓解策略。多项研究发现人工智能系统存在针对某些群体的偏见,例如 Buolamwini 和 Gebru (2018) 研究的面部识别系统,以及 Dastin (2018) 和 Kohli (2020) 研究的招聘算法。这些偏见可能会加剧系统性歧视和不平等,在招聘、贷款和刑事司法等领域对个人和社区产生不利影响(O'Neil,2016 年;Eubanks,2018 年;Barocas 和 Selbst,2016 年;Kleinberg 等人,2018 年)。研究人员和从业人员提出了各种缓解策略,例如提高数据质量(Gebru 等人,2021 年)和设计明确公平的算法(Berk 等人,2018 年;Friedler 等人,2019 年;Yan 等人,2020 年)。本文全面概述了人工智能偏见的来源和影响,研究了数据、算法和用户偏见及其伦理影响。它调查了当前关于缓解策略的研究,讨论了它们的挑战、局限性以及跨学科合作的重要性。研究人员、政策制定者和学术界广泛认识到人工智能公平性和偏见的重要性(Kleinberg 等人,2017 年;Caliskan 等人,2017 年;Buolamwini 和 Gebru,2018 年;欧盟委员会,2019 年;Schwartz 等人,2022 年;Ferrara,2023 年)。这篇综述论文深入探讨了人工智能中公平性和偏见的复杂和多方面问题,涵盖了偏见的来源、影响和拟议的缓解策略。总体而言,本文旨在通过阐明人工智能中公平性和偏见的来源、影响和缓解策略,为开发更负责任和更道德的人工智能系统做出持续努力。二、人工智能中的偏见来源
管理d。GEBRU的手册,总统D R上帝的国家,我塞内居民,院士阵会,耶稣的居民和居民, ffairs jan A短语,D.,D.,D.院士科学的科学。 Acciities Chereval,P H D.,P H D .. d.m.a. d.m.a.
Bender,E。M.,Gebru,T。McMillan-Major,A。&Shmitchell,S。(2021)。关于随机鹦鹉的危险:语言模型会太大吗?在关于公平,问责制和透明度会议上(FACCT '21),3月3日至10日,2021年,加拿大虚拟活动。ACM,纽约,纽约,美国,14页。 https://doi.org/10.1145/3442188.3445922ACM,纽约,纽约,美国,14页。https://doi.org/10.1145/3442188.3445922
PhD:主管:Jordan Cosio(2023-),Jean-Eudes Ayilo(2023-),Xiaoyu Lin(2020-),路易·阿雷尔(2019-2023)(2019-2023),Xiaoyu bie(2019-2023) (2021-22),Guanglei Yang(2016-18),Wei Wang(2016-18)Andrea Pilzer(2016-17),Siahorin(2016-17),Dan Xu(2016-17)。 (2014-17),以色列 - 杰尼(2014-17)。大师:Ghazi Ahmad(2024),David Emukpere(2021),Viet Nhat Nguyen(2020),1920年)
尽管发现人脸识别系统对深色皮肤的人总体表现不佳,尤其是深色皮肤的女性,但后续研究表明,仅使用更具代表性的数据集训练系统似乎就可以在这些受影响的群体上获得明显更好的性能。例如,参见 C. Romine(NIST 信息技术实验室主任),“面部识别技术听证会证词(第三部分):确保商业透明度和准确性”,美国众议院国土安全委员会,2020 年;P. Grother、M. Ngan 和 K. Hanaoka,“NISTIR 8280:人脸识别供应商测试(FRVT)第 3 部分:人口统计影响”,NIST,2019 年; R. Puri,“减轻 AI 模型中的偏见”,IBM 研究博客,2018 年。有关歧视本身的初步研究,请参阅 J. Buolamwini 和 T. Gebru,“性别阴影:商业性别分类中的交叉准确性差异”,公平、问责和透明度会议,2018 年。
1 什么是数据科学?(nd)。检索日期:2020 年 8 月,取自 https://ischoolonline.berkeley.edu/data-science/what-is-data-science/ 2 人脸识别供应商测试 (FRVT 第 3 部分:人口统计影响),美国国家标准与技术研究所 (Nat. Inst. Of Standards & Tech.)(2019 年 12 月),https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8280.pdf。;Joy Buolamwini 和 Timnit Gebru,《性别阴影:商业性别分类的交叉准确度差异》,机器学习研究论文集 81:1-15,公平、问责和透明会议 (2018),http://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf。 3 请参阅,例如《通用数据保护条例》第 22 条(通用数据保护Reg., 2016/679, 第 22 条 (EU) )。 (确立数据主体有权不受仅基于自动化流程的决策的约束)。 4 参见例如伊利诺伊州《人工智能视频面试法案》(要求在评估就业面试视频时使用人工智能必须经过通知和同意);以及禁止在随身摄像机视频中使用面部识别技术的州法规——俄勒冈州( Or. Rev. Stat. § 133.741(1)(D) )和新罕布什尔州( NH Rev. Stat. § 105-D:2 )。