决策算法在社会中的存在感如今正在迅速增加,同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上,许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体(例如,某些用于人员识别的生物特征识别系统)。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响,我们提出了一个虚构的自动招聘测试平台:FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能(AI)从非结构化数据中提取敏感信息并以不良(不公平)的方式将其与数据偏见结合起来的能力。最后,我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法(SensitiveNets)来实验歧视感知学习,以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具,特别是更公平的自动招聘系统。
本文介绍了一种新颖的“公平性”数据集,以衡量 AI 模型对不同年龄、性别、表观肤色和环境光照条件的稳健性。我们的数据集由 3,011 名受试者组成,包含 45,000 多个视频,平均每人 15 个视频。这些视频是在美国多个州录制的,参与者是不同年龄、性别和表观肤色组的成年人。一个关键特征是每个受试者都同意参与并使用他们的肖像。此外,我们的年龄和性别注释由受试者自己提供。一组训练有素的注释者使用 Fitzpatrick 皮肤类型量表标记受试者的表观肤色 [ 6 ]。此外,还提供了在低环境光下录制的视频的注释。作为衡量跨某些属性的预测稳健性的应用,我们评估了最先进的表观年龄和性别分类方法。我们的实验从公平对待来自不同背景的人的角度对这些模型进行了彻底的分析。
机器学习方法在生物识别和个人信息处理(例如法医、电子医疗、招聘和电子学习)领域的重要性日益增加。在这些领域,基于机器学习方法构建的系统的白盒(人类可读)解释可能变得至关重要。归纳逻辑编程 (ILP) 是符号 AI 的一个子领域,旨在自动学习有关数据处理的声明性理论。从解释转换中学习 (LFIT) 是一种 ILP 技术,可以学习与给定黑盒系统等同的命题逻辑理论(在特定条件下)。本研究通过检查 LFIT 在特定 AI 应用场景中的可行性,迈出了将准确的声明性解释纳入经典机器学习的通用方法的第一步:基于使用机器学习方法生成的自动工具进行公平招聘,用于对包含软生物特征信息(性别和种族)的简历进行排名。我们展示了 LFIT 对这个特定问题的表达能力,并提出了一个可应用于其他领域的方案。
信息系统 (IS) 目前正在经历根本性转变:直到最近,决策支持都是基于规则的确定性算法开发的。然而,随着人工智能 (AI) 的最新进展,这些决策规则已被概率算法(例如深度学习;参见 Kraus 等人)取代。2020 )。概率算法通过从数据中学习现有模式进行推理,一旦部署,就会在某些不确定性下为看不见的数据提供预测。因此,它们容易产生偏见和系统性不公平,从而对个人或整个群体进行差别对待。先前的研究已多次证明人工智能应用缺乏公平性。例如,研究发现,信贷贷款申请的决策支持系统对某些社会人口群体存在不成比例的偏向 (Hardt and Price 2016; O'Neil 2016 )。
委员会对这个问题的回答是一个明显的“是,但是……”。得出的结论是,这三个指令提供了必要的监管确定性和消费者信任的最低限度,但可以将它们视为仅在数字环境中部分有效。5特别是,它确定了各种持续关注的问题,例如广告和合同前信息的透明度;与指令中没有具体规定的新兴技术和实践相关的问题;监管分裂,破坏了数字单市场;增加了针对消费者保护问题的更广泛的数字特定立法产生的监管复杂性;以及与不足,无效的执法和法律不确定性有关的更多一般性问题。
●在奥地利:风险分数将最近的失业者分为(i)在接下来六个月中有良好前景的人; (ii)未来两年前景不良的人; (iii)其他所有人。支持措施针对第三组。仅提供对第一组和第二组的支持有限的支持(Allhutter等,2020)。
EXHIBITOR SHOW ELIGIBILITY..................................................................................................................15 ENTRY INFORMATION & RULES................................................................................................................16 LIVESTOCK SHOW FEES............................................................................................................................20 EXHIBITOR ADMISSION信息...............................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................规定.................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................................
● HW1:研究过程中的道德规范 - 这项作业将向学生介绍开展公平和道德研究的概念。重点将放在对 IRB 本质的历史理解上。学生将完成 CITI 人类受试者研究培训作为其作业的一部分。● HW2:数据和预测中的偏见 - 学生将学习将基本的数据挖掘技术应用于数据。学生将设计和对大型数据集进行统计测试。这些测试将围绕公平概念以及如何利用技术来识别不公平进行设计。● HW3:NLP 中的偏见 - 学生将学习命名实体识别中的性别偏见。解决这项作业需要基本的自然语言处理技术,包括基于转换器的语言模型,如 BERT。● HW4:网络中的偏见——在这项作业中,学生将学习和应用基本的网络技术来发现网络中的性别偏见。女性在网络中的代表性是更多还是更少?她们是否倾向于占据比男性更高或更低的中心位置?注意:在书面和编程作业中,描述和分析的完整性和清晰度与最终的正确答案一样重要。仅发送单个最终值(即使正确)是不够的。请参阅下表:
减轻对亚群体的歧视。1 人们可能倾向于认为,只需从决策支持系统中省略敏感属性也能解决公平问题。然而,这是一个常见的误解:一些非敏感属性充当了代理(例如,工资是性别的代理,邮政编码是民族的代理,家庭结构是种族或宗教的代理),因此,即使不了解敏感属性的决策支持系统也被认为是不公平的。本文的目的是向信息系统从业者和研究人员介绍“公平的人工智能”。如上所述,信息系统内有多个领域容易出现不公平现象。事实上,信息系统维持甚至强化了人工智能中现有的不公平现象,而不是减轻它。在依赖这样的信息系统时,企业和组织面临着巨大的法律风险。在这方面,世界各地的立法机构都在实施法律,禁止在算法决策中进行差别对待(White & Case 2017);例如,在美国,公平贷款法对风险评分中的算法偏见进行惩罚,而在欧盟,人工智能的责任由通用数据保护条例(GDPR)强制执行。因此,实现公平的人工智能对于歧视的潜在受害者和依赖人工智能进行决策支持系统的机构都至关重要。最近的报告指出,企业、组织和政府对公平人工智能的采用已经落后(AI Now Institute 2018)。正如我们稍后讨论的,这种进展缓慢的潜在原因在于信息系统的所有维度,即人(例如信任)、技术(例如设计原则、经济影响)和组织(例如治理)。在以下章节中,本文将回顾公平的理论概念,将它们与人工智能的公平性联系起来,并为信息系统研究提出建议。