1 亚马逊废除了显示对女性存在偏见的秘密 AI 招聘收费,2018 年。Jeffry Dastin,路透社。 2 DO 对欧盟委员会关于人工智能协调规则条例提案的意见。关于制定人工智能协调规则(人工智能法)和修改某些联盟立法法案的条例提案(COM(2021)206)。歧视监察专员;参考 LED 2021/290 3 例如,参见:当算法处理案件时:公共部门使用分析模型存在歧视风险。 2021 年。人权研究所。歧视、人工智能和算法决策 2018。Frederik Zuiderveen Borgesius 教授,欧洲委员会,FRA。 #大数据:4 亚马逊放弃显示出对女性歧视的秘密 AI 招聘工具。 2018.Jeffrey Dastin,路透社。
●亚马逊的招聘软件因算法而不推荐女性(Dastin,2018年)●雇主使用Facebook算法从妇女,年长的工人和广告商中“隐藏”工作广告来练习住房歧视(Tobin,2019a; Tobin,2019b,2019年),这是BBIAS上的社交媒体(TOBIAS),这是BBIAS babors●ALGORITH AD SOMECATS(TOBLIAS),这是BBIAS的社交活动(TOBIN),这是BACT的。 ●YouTube的内容推荐算法使观众迈向仇恨言论和阴谋论(O'Donovan等,2019)●促进疫苗错误信息的社交媒体算法(Sunderji,2021年)●芝加哥在芝加哥的两次被枪杀,因为芝加哥警察部门的预测计划是在芝加哥警察局的两次中被枪杀的两次。
尾注 1. 请参阅 Jeffrey Dastin、路透社、Insight – 亚马逊放弃秘密 AI 招聘工具,该工具显示出对女性的偏见(发布于 2018 年 10 月 10 日)(所有网站访问于 2024 年 10 月 8 日)。2. 参见,例如,Will Douglas Heaven,《麻省理工学院技术评论》,《预测性警务仍然是种族主义的——无论它使用什么数据》[perma.cc/E3BZ-C9QN](2021 年 2 月 5 日发布)。3. Weiser,《当您的律师使用 ChatGPT 时会发生什么》,《纽约时报》(2023 年 5 月 27 日),第 A1 页。. 4. Magesh 等人,《无幻觉?评估领先的 AI 法律研究工具的可靠性》(2024 年)。预印本目前正在同行评审中。[perma.cc/U3PT-WGWK]. 5. 同上,第 3.2 节。
简介 人工智能(AI)是教育中广泛使用的工具。教育中使用的AI有很多种(Nemorin等人,2022年)。其中大部分包括抄袭检测、完整性检查(Ade-Ibijola等人,2022年)、用于录取和留校的聊天机器人(Nakitare和Otike,2022年)、学术管理、教师评分、在线论坛开发、学生表现评估和教育研究(Nakitare和Otike,2022年)。如今,教育技术公司(EdTech)正在使用AI干预措施来衡量社交和情感学习(McStay,2020年)。人工智能、表达性计算和机器学习被贴上了“情感AI”(AI)的标签。人工智能(AI)比上个世纪的任何其他发明都更能塑造我们的未来。任何不理解这一点的人很快就会认为自己站在一个充满科技的世界里,一个感觉像魔法一样的世界(Maini和Sabri,2017年)。毫无疑问,技术很重要,其作用已在最近的流行病中得到证实。许多研究人员考虑到教育的重要性(Sayed 等人,2021 年)。然而,这并不意味着它总是有用的,也并不意味着它没有道德问题(Dastin,2018 年)。因此,许多研究人员在关注其开发和使用时,会考虑到文化因素(Justin 和 Mizuko,2017 年)。一些人认为,教育中智能背后的目的可能是好的,但这可能不足以证明它是合乎道德的(Whittaker 和 Crawford,2018 年)
然而,我们知道这些人工智能系统可能很脆弱且不公平。在停车标志上添加涂鸦会欺骗分类器,使其认为这不是停车标志 [Eykholt 等人2017]。在良性皮肤病变图像中添加噪声会欺骗分类器,使其认为它是恶性的 [Finlayson 等人 2019]。美国法院使用的风险评估工具已被证明对黑人存在偏见 [Angwin 等人2016]。企业招聘工具已被证明对女性存在偏见 [Dastin 2018]。那么,我们如何才能兑现人工智能带来好处的承诺,同时解决这些对人类和社会产生重大影响的情况呢?简而言之,我们如何实现可信赖的 AI?1.从可信赖计算到可信赖的 AI 具有里程碑意义的 1999 年国家科学院网络空间信任报告为可信赖计算奠定了基础,并继续成为一个活跃的研究领域 [NRC 1999]。美国国家科学基金会启动了一系列关于信任的项目。从可信赖计算(2001 年启动)开始,然后是网络信任(2004 年),然后是可信赖计算(2007 年),现在是安全和可信赖系统(2011 年),计算机和信息科学与工程理事会已经发展了可信赖计算的学术研究社区。尽管它始于计算机科学界,但对可信计算研究的支持现已涵盖 NSF 的多个理事会,并涉及许多其他资助组织,包括通过网络和信息技术研究与开发 (NITRD) 计划的 20 个联邦机构。行业也是可信计算的领导者和积极参与者。凭借比尔盖茨 2002 年 1 月的“可信计算”备忘录 [Gates 2002],微软向其员工、客户、股东和其他信息技术部门发出了可信软件和硬件产品的重要性。它提到了微软内部
随着人工智能系统使用范围的不断扩大,围绕人工智能公平性和偏见的讨论也愈演愈烈,因为潜在的偏见和歧视也变得越来越明显。本调查研究了人工智能公平性和偏见的来源、影响和缓解策略。多项研究发现人工智能系统存在针对某些群体的偏见,例如 Buolamwini 和 Gebru (2018) 研究的面部识别系统,以及 Dastin (2018) 和 Kohli (2020) 研究的招聘算法。这些偏见可能会加剧系统性歧视和不平等,在招聘、贷款和刑事司法等领域对个人和社区产生不利影响(O'Neil,2016 年;Eubanks,2018 年;Barocas 和 Selbst,2016 年;Kleinberg 等人,2018 年)。研究人员和从业人员提出了各种缓解策略,例如提高数据质量(Gebru 等人,2021 年)和设计明确公平的算法(Berk 等人,2018 年;Friedler 等人,2019 年;Yan 等人,2020 年)。本文全面概述了人工智能偏见的来源和影响,研究了数据、算法和用户偏见及其伦理影响。它调查了当前关于缓解策略的研究,讨论了它们的挑战、局限性以及跨学科合作的重要性。研究人员、政策制定者和学术界广泛认识到人工智能公平性和偏见的重要性(Kleinberg 等人,2017 年;Caliskan 等人,2017 年;Buolamwini 和 Gebru,2018 年;欧盟委员会,2019 年;Schwartz 等人,2022 年;Ferrara,2023 年)。这篇综述论文深入探讨了人工智能中公平性和偏见的复杂和多方面问题,涵盖了偏见的来源、影响和拟议的缓解策略。总体而言,本文旨在通过阐明人工智能中公平性和偏见的来源、影响和缓解策略,为开发更负责任和更道德的人工智能系统做出持续努力。二、人工智能中的偏见来源
2. Michael Chui、James Manyika 和 Mehdi Miremadi,《机器可以取代人类的地方以及目前还不能取代人类的地方》,MCK INSEY Q.(2016 年 7 月 8 日),https://www.mckinsey.com/business-functions/mckinsey-digital/our-insights/where-machines-could-replace-humans-and- where-they-cant-yet [https://perma.cc/Q24J-3RRU](“目前展示的技术可以自动化 45% 的人类有偿活动……”)。本文几乎交替使用“机器人”和“算法”。从技术上讲,机器人有物理形态,而算法没有。就目前的目的而言,这种区别并不重要。它会影响每种机器人可能造成的伤害类型,但不会影响它们是否会造成伤害。 3. Patrice Taddonio,《人工智能的兴起是否会危及卡车司机的工作?》,PBS(2019 年 11 月 5 日),https://www.pbs.org/wgbh/frontline/article/could-the-rise-of-artificial-intelli gence-put-truckers-jobs-in-peril [https://perma.cc/ZF96-UVPH]。4. Jeffrey Dastin,《独家:亚马逊推出打包订单并取代工作的机器》,R EUTERS(2019 年 5 月 13 日),https://www.reuters.com/article/us-amazon-com-automation-exclusive/exclusive-amazon-rolls-out-machines-that-pack-orders-and-replace-jobs-idUSKCN1SJ0X1 [https://perma.cc/SF4R-FQKY]。 5. Alana Semuels,《数百万美国人在疫情中失去工作——机器人和人工智能正在以前所未有的速度取代他们》,《时代》(2020 年 8 月 6 日),https://time.com/5876604/machines-jobs-coronavirus [https://perma.cc/D3WN-9KWS](“弗吉尼亚州的一家回收公司于 2019 年为其罗阿诺克工厂购买了四台 AMP 机器人,将它们部署在装配线上,以确保纸张和塑料流中没有放错材料。”)。 6. Will Knight,《人工智能即将取代最令人麻木的办公任务》,《WIRED》(2020 年 3 月 14 日上午 7:00),https://www.wired.com/story/ai-coming-most-mind-numbing-office-tasks [https://perma.cc/8CSN-JP6W](“简单的软件自动化正在消除一些特别重复的工作,例如基本的数据输入……”)。7. Lauri Donahue,评论《法律行业人工智能入门》,《J OLT D IG》。 (2018 年 1 月 3 日),https://jolt.law.harvard.edu/digest/a-primer-on-using-artif icial-intelligence-in-the-legal-profession [https://perma.cc/ZF56-D3D5](“依赖于整理和分析历史数据(例如过去的司法判决,包括法律意见或评估可能的诉讼结果)的法律工作将成为人工智能的领域。”)。 8. William Baldwin,《人工智能投资者:AI 和选股的未来》,F ORBES(2019 年 12 月 9 日,上午 6:00),https://www.forbes.com/sites/baldwin/2019/12/09/connecting-a- million-dots [https://perma.cc/2ZHJ-2J8R](“EquBot 表示,其基金是唯一使用 AI 进行主动管理的 ETF,但它不会长期独霸这一领域。IBM 正在华尔街四处兜售 AI。”)。9. Ohad Oren、Bernard J. Gersh 和 Deepak L. Bhatt,医学成像中的人工智能:从放射病理数据转向有临床意义的终点,2 LANCET D IGIT. H EALTH(2020 年 9 月),https://www.thelancet.com/journals/landig/article/PIIS2589-7500(20)30160-6/fulltext [https://perma.cc/CH6S-HECK](“人工智能增强的阅读性能可用于识别与更糟糕结果相关的轻微结构或动态变化,从而改善干预的患者选择。”)。