减轻对亚群体的歧视。1 人们可能倾向于认为,只需从决策支持系统中省略敏感属性也能解决公平问题。然而,这是一个常见的误解:一些非敏感属性充当了代理(例如,工资是性别的代理,邮政编码是民族的代理,家庭结构是种族或宗教的代理),因此,即使不了解敏感属性的决策支持系统也被认为是不公平的。本文的目的是向信息系统从业者和研究人员介绍“公平的人工智能”。如上所述,信息系统内有多个领域容易出现不公平现象。事实上,信息系统维持甚至强化了人工智能中现有的不公平现象,而不是减轻它。在依赖这样的信息系统时,企业和组织面临着巨大的法律风险。在这方面,世界各地的立法机构都在实施法律,禁止在算法决策中进行差别对待(White & Case 2017);例如,在美国,公平贷款法对风险评分中的算法偏见进行惩罚,而在欧盟,人工智能的责任由通用数据保护条例(GDPR)强制执行。因此,实现公平的人工智能对于歧视的潜在受害者和依赖人工智能进行决策支持系统的机构都至关重要。最近的报告指出,企业、组织和政府对公平人工智能的采用已经落后(AI Now Institute 2018)。正如我们稍后讨论的,这种进展缓慢的潜在原因在于信息系统的所有维度,即人(例如信任)、技术(例如设计原则、经济影响)和组织(例如治理)。在以下章节中,本文将回顾公平的理论概念,将它们与人工智能的公平性联系起来,并为信息系统研究提出建议。
决策算法在社会中的存在感如今正在迅速增加,同时人们也开始担心其透明度以及这些算法可能成为新的歧视来源。事实上,许多相关的自动化系统已被证明会根据敏感信息做出决策或歧视某些社会群体(例如,某些用于人员识别的生物特征识别系统)。为了研究当前基于异构信息源的多模态算法如何受到数据中的敏感元素和内部偏见的影响,我们提出了一个虚构的自动招聘测试平台:FairCVtest。我们使用一组有意识地以性别和种族偏见进行评分的多模态合成档案来训练自动招聘算法。FairCVtest 展示了此类招聘工具背后的人工智能(AI)从非结构化数据中提取敏感信息并以不良(不公平)的方式将其与数据偏见结合起来的能力。最后,我们列出了最近开发能够从深度学习架构的决策过程中删除敏感信息的技术的列表。我们使用其中一种算法(SensitiveNets)来实验歧视感知学习,以消除我们多模态 AI 框架中的敏感信息。我们的方法和结果展示了如何生成更公平的基于 AI 的工具,特别是更公平的自动招聘系统。
信息系统 (IS) 目前正在经历根本性转变:直到最近,决策支持都是基于规则的确定性算法开发的。然而,随着人工智能 (AI) 的最新进展,这些决策规则已被概率算法(例如深度学习;参见 Kraus 等人)取代。2020 )。概率算法通过从数据中学习现有模式进行推理,一旦部署,就会在某些不确定性下为看不见的数据提供预测。因此,它们容易产生偏见和系统性不公平,从而对个人或整个群体进行差别对待。先前的研究已多次证明人工智能应用缺乏公平性。例如,研究发现,信贷贷款申请的决策支持系统对某些社会人口群体存在不成比例的偏向 (Hardt and Price 2016; O'Neil 2016 )。
本文介绍了一种新颖的“公平性”数据集,以衡量 AI 模型对不同年龄、性别、表观肤色和环境光照条件的稳健性。我们的数据集由 3,011 名受试者组成,包含 45,000 多个视频,平均每人 15 个视频。这些视频是在美国多个州录制的,参与者是不同年龄、性别和表观肤色组的成年人。一个关键特征是每个受试者都同意参与并使用他们的肖像。此外,我们的年龄和性别注释由受试者自己提供。一组训练有素的注释者使用 Fitzpatrick 皮肤类型量表标记受试者的表观肤色 [ 6 ]。此外,还提供了在低环境光下录制的视频的注释。作为衡量跨某些属性的预测稳健性的应用,我们评估了最先进的表观年龄和性别分类方法。我们的实验从公平对待来自不同背景的人的角度对这些模型进行了彻底的分析。
我们已审查了您根据第 510(k) 条提交的上述器械上市前意向通知,并确定该器械与 1976 年 5 月 28 日(即《医疗器械修正案》颁布日期)之前在州际贸易中合法销售的同类器械或已根据《联邦食品、药品和化妆品法案》(法案)的规定重新分类且无需获得上市前批准申请 (PMA) 批准的器械基本相同(就附件中所述的使用指征而言)。因此,您可以根据法案的一般控制规定销售该器械。虽然这封信将您的产品称为器械,但请注意,一些已获准的产品可能是组合产品。位于 https://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfpmn/pmn.cfm 的 510(k) 上市前通知数据库可识别组合产品提交。该法案的一般控制条款包括年度注册、设备清单、良好生产规范、标签以及禁止贴错标签和掺假的要求。请注意:CDRH 不评估与合同责任担保相关的信息。但是,我们提醒您,设备标签必须真实,不得误导。
机器学习方法在生物识别和个人信息处理(例如法医、电子医疗、招聘和电子学习)领域的重要性日益增加。在这些领域,基于机器学习方法构建的系统的白盒(人类可读)解释可能变得至关重要。归纳逻辑编程 (ILP) 是符号 AI 的一个子领域,旨在自动学习有关数据处理的声明性理论。从解释转换中学习 (LFIT) 是一种 ILP 技术,可以学习与给定黑盒系统等同的命题逻辑理论(在特定条件下)。本研究通过检查 LFIT 在特定 AI 应用场景中的可行性,迈出了将准确的声明性解释纳入经典机器学习的通用方法的第一步:基于使用机器学习方法生成的自动工具进行公平招聘,用于对包含软生物特征信息(性别和种族)的简历进行排名。我们展示了 LFIT 对这个特定问题的表达能力,并提出了一个可应用于其他领域的方案。
● HW1:研究过程中的道德规范 - 这项作业将向学生介绍开展公平和道德研究的概念。重点将放在对 IRB 本质的历史理解上。学生将完成 CITI 人类受试者研究培训作为其作业的一部分。● HW2:数据和预测中的偏见 - 学生将学习将基本的数据挖掘技术应用于数据。学生将设计和对大型数据集进行统计测试。这些测试将围绕公平概念以及如何利用技术来识别不公平进行设计。● HW3:NLP 中的偏见 - 学生将学习命名实体识别中的性别偏见。解决这项作业需要基本的自然语言处理技术,包括基于转换器的语言模型,如 BERT。● HW4:网络中的偏见——在这项作业中,学生将学习和应用基本的网络技术来发现网络中的性别偏见。女性在网络中的代表性是更多还是更少?她们是否倾向于占据比男性更高或更低的中心位置?注意:在书面和编程作业中,描述和分析的完整性和清晰度与最终的正确答案一样重要。仅发送单个最终值(即使正确)是不够的。请参阅下表:
SUPSHIP 将指定一名 FOIA 协调员,公众和 SUPSHIP 人员将向其提出所有 FOIA 查询或问题。主管可以充当发布权人,也可以将发布权委托给 FOIA 协调员。承包官员应避免与公众(包括潜在投标人)讨论 FOIA 问题。所有与 FOIA 请求相关的对话都必须记录在 FOIA 协调员的请求文件中。由于 SUPSHIP 有 NAVSEA 法律顾问办公室代表,因此他们对其活动收到的 FOIA 请求拥有初步拒绝权。此权力仅委托给主管。参考 (b),NAVSEAINST 5720.5B**,《信息自由法 (FOIA) 计划》,提供了更多详细信息。
