不仅包括隐性偏见或个人歧视,还包括鼓励和助长这种歧视的规则和实践结构。1 结构性种族主义的一个定义是“社会通过相互加强的住房、教育、就业、收入、福利、信贷、媒体、医疗保健和刑事司法系统助长种族歧视的全部方式”。3 衡量种族主义具有挑战性。它不仅可能是主观的,而且还可能带有政治色彩,并且基于难以收集的数据。尽管如此,为了监测变化和设定目标,有一个可衡量的结果至关重要。出于这个原因,出现了许多衡量种族主义的方法,包括感知歧视量表。3
决策算法在社会中的存在感如今正在迅速增加,同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上,许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体(例如,某些用于人员识别的生物特征识别系统)。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响,我们提出了一个虚构的自动招聘测试平台:FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能(AI)从非结构化数据中提取敏感信息并以不良(不公平)的方式将其与数据偏见结合起来的能力。最后,我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法(SensitiveNets)来实验歧视感知学习,以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具,特别是更公平的自动招聘系统。
班纳特太太带着五个女儿问了好多遍,但丈夫还是没能对彬格莱先生的言行举止满意。她们用各种方法攻击他,有直言不讳的问题,有巧妙的假设,也有遥远的猜测,但彬格莱先生都躲过了。最后,她们只好接受邻居卢卡斯夫人的间接消息。卢卡斯夫人对彬格莱先生的评价很高。威廉爵士很喜欢他。他很年轻,长得非常英俊,非常和蔼可亲,最重要的是,他打算参加下一次聚会,参加的人数众多。再也没有比这更令人愉快的了!喜欢跳舞是坠入爱河的必经之路,他们非常希望彬格莱先生能爱上他。
使用AI辅助预测模型报告的美国医院中约有65%最常用于预测住院健康轨迹,识别高风险门诊患者并促进安排。虽然61%的医院评估了其准确性的预测模型,但只有44%的医院对偏见进行了类似的评估。与资源不足的医院或使用外部开发人员相比,拥有更多财务资源和技术专业知识的医院更有可能拥有和评估AI模型。
每位患者接受了虚拟治疗师阿凡达(Avatar)的30分钟咨询课程,该会议接受了动机访谈,认知行为疗法和其他技术的AI培训,以帮助患者改变其行为。超过85%的患者表示,他们发现会议有益,而90%的患者表示有兴趣再次使用虚拟治疗师。
试图为生物识别验证应用创建更熟悉的脑机互动,我们研究了使用用户的个人爱好,兴趣和内存收集的效率。这种方法创造了独特而愉快的体验,以后可以在身份验证协议中使用。本文介绍了一个新的脑电图数据集,而受试者则观看流行爱好的图像,没有兴趣的图片和具有出色个人意义的图像。此外,我们提出了几种可以通过新收集的数据集来解决的应用程序。也就是说,我们的研究展示了4种应用类型,我们为所有这些应用提供了最先进的结果。已解决的任务是:情绪分类,类别分类,授权过程和人识别。我们的实验显示出对人们身份验证的脑电图可视化响应的巨大潜力。在我们的研究中,我们显示了通过脑电图衡量的识别人的个人爱好偏见的初步结果。此外,我们提出了使用脑电图的新型授权过程范式。代码和数据集可在此处提供。
模型偏差。人寿保险部门内的后果是深远的,影响了围绕政策定价,承保和风险评估的关键决策,以及潜在的歧视性影响的资格。本节段深入研究模型偏差的理论基础,对其各种表现进行了分类,并通过特定于部门的场景说明了其发生。通过剖析偏见无意间编码为预测模型的实例,我们旨在阐明这种偏见使社会差异永久存在的途径,从而挑战精算专业,以严格评估和完善其分析方法。
将AI系统纳入支持决策过程以增强人类系统可以提供预测或脱离可能未引起人类的预测相关性的能力有很大的优势(Cummings,2004)。然而,除了围绕AI炒作的兴奋之外(Fishburne,2024),人们对其道德,社会和法律的影响越来越关注,尤其是对性别偏见。而不是仅仅试图以道德和合法的方式导航AI炒作,而是需要询问的第一个问题不是AI系统是否可以将AI系统纳入过程或产品中,而是首先应使用AI。正如加布里埃拉·拉莫斯(Gabriella Ramos,2024年)在联合国教科文组织的《女性4道德AI会议》上指出的:“如果我们能为妇女制作,我们就可以为所有人做到这一点。”性别偏见不仅与男人和女人的二进制定义有关,而且是将男性用作系统设计默认值的观点(Perez,2019),不包括其他性别,包括女性,这些性别占世界人口的一半以上。这种偏见不仅是一个道德问题,而且是一个系统性的问题,在整个AI生命周期中存在。
conoraw@princeton.edu First Version: March 2019 This Version: November 2020 We thank Pol Antràs, David Autor, Costas Arkolakis, Gideon Bornstein, Laura Castillo-Martinez, Jonathan Dingel, Pierre-Olivier Gourinchas, Gordon Hanson, J. Bradford Jensen, Thomas Kemeny, Chris Moser, Michael Peters, Esteban Rossi-Hansberg和Steve Redding对有见地的评论和Serena Sampler提供了出色的研究帮助。此处表达的任何意见和结论都是作者的观点,不一定代表美国人口普查局的观点。所有结果均已审查,以确保未披露机密信息。Eckert和Walsh感谢普林斯顿大学的国际经济学部分,其中一些工作已经完成。本文的当前版本取代了“熟练的可交易服务:美国高技能劳动力市场的转型”。
为了感知环境中的对象并互动,我们毫不费力地在所需的位置配置了我们的figertips。因此,可以合理地假设潜在的控制机制依赖于有关我们的手和纤维的结构和空间维度的准确知识。然而,这种直觉受到了多年的研究挑战,表明纤维几何学的感知中存在巨大的偏见。1–5这种感知偏见被视为证据表明大脑对人体的内部表示被扭曲,6导致了关于我们行为熟练的明显悖论。7在这里,我们对手工感知的偏见提出了另一种解释,这是噪音的贝叶斯整体的结果,但是关于纤维几何和姿势的无偏见,无偏的体感信号。为了解决这一假设,我们将贝叶斯反向工程与索引填充剂的关节和填充定位进行的行为实验相结合。,我们以感觉或在空间坐标中对贝叶斯的整合进行了建模,表明后一种模型变体导致了纤维感知的偏见,尽管有准确表示纤维长度。关节和纤维化定位响应的行为度量显示出相似的偏见,这些偏见是由空间基的,但不是基于感觉的模型变体所填充的。空间模型变体还优于具有内置几何偏差的失真手模型。总的来说,我们的结果表明,纤维几何形状的感知失真不会反映扭曲的手模型,而是源自几乎最佳的贝叶斯对体感信号的推断。
