摘要 - 机器学习在决策过程中的广泛采用引起了人们对公平性的担忧,尤其是对敏感特征和对少数群体的潜在歧视的治疗。软件工程社区的反应是开发面向公平的指标,经验研究和方法。但是,在整个机器学习生命周期中,理解和分类工程公平的做法仍然存在差距。本文介绍了一种新颖的实践目录,以解决从系统的映射研究中得出的机器学习中的公平性。该研究确定并分类了现有文献中的28种实践,将它们映射到机器学习生命周期的不同阶段。从该目录中,作者提取了可操作的项目及其对软件工程研究人员和从业者的影响。这项工作旨在提供全面的资源,以将公平考虑因素整合到机器学习系统的开发和部署,增强其可靠性,问责制和信誉。
改变故事VT(CTS)是佛蒙特州妇女基金,佛蒙特州妇女委员会和佛蒙特州妇女工作的伙伴关系计划,致力于促进妇女的经济安全。您可以在www.changethestoryvt.org
人工智能(AI)可以在向预测,预防和个性化医学转变的转变中发挥至关重要的作用,前提是我们受到患者投入的科学的指导。患者报告的结果指标(PROM)代表了一个独特的机会,可以从患有健康状况的人们那里捕捉经验知识,并使其与所有其他利益相关者具有科学意义。尽管如此,使用标准化结果的吸收有限,包括研究和医疗保健系统中的舞会。本观点文章讨论了大规模使用舞会的挑战,重点是多发性硬化症。AI方法可以通过检查目前提供的护理卫生系统以及加速研究和创新来实现学习卫生系统,从而改善护理质量。但是,我们认为,无论是与研究,临床实践还是卫生系统政策有关的AI的进步至关重要,不是孤立地开发出来,而是与他们合作地实施“对“人”。与患者投入的科学实施是全球多发性硬化症(PROM)倡议的核心,将确保我们最大程度地利用AI对MS的人的潜在利益,同时避免后果。
数据护理研讨会系列是跨学科和跨部门对话的动态论坛,旨在通过拥抱护理原则来解决公平AI开发和部署的障碍:集体利益,控制,责任和道德的权力。通过超越批评,该混合动力系列旨在激发可行的见解和创新策略,以建立负责任,可持续和包容的AI系统。重点关注多数世界和其他代表性不足的群体,该活动系列汇集了学术界,设计和技术行业的思想领袖,以及公民和政策领域,以探索为公平AI期货的合作创新的关键途径。这是数据护理研讨会系列的第一个,该系列的重点是生成AI工具对具有其他性别认同的妇女,女孩和人员的影响,特别关注全球南方的人群和其他在这些系统的设计和部署中的人口中的人口。我们关注Genai工具在加强和挑战性别不平等方面的含义,并关注工具对隐私,安全,自由和赋权的影响。这个就职研讨会探讨了减轻性别危害和暴力的跨文化,跨学科和跨部门的策略,目的是确保AI系统优先考虑妇女,女孩和边缘化性别群体的需求和权利,以支持其数字福祉和蓬勃发展。此外,我们将通过企业家创新,新颖的设计方法和激进运动来探索创造性的方法来恢复欲望和愉悦。这些鼓舞人心的努力将为可行的途径铺平道德,包容和性别响应的AI创新。
信息系统 (IS) 目前正在经历根本性转变:直到最近,决策支持都是基于规则的确定性算法开发的。然而,随着人工智能 (AI) 的最新进展,这些决策规则已被概率算法(例如深度学习;参见 Kraus 等人)取代。2020 )。概率算法通过从数据中学习现有模式进行推理,一旦部署,就会在某些不确定性下为看不见的数据提供预测。因此,它们容易产生偏见和系统性不公平,从而对个人或整个群体进行差别对待。先前的研究已多次证明人工智能应用缺乏公平性。例如,研究发现,信贷贷款申请的决策支持系统对某些社会人口群体存在不成比例的偏向 (Hardt and Price 2016; O'Neil 2016 )。
● HW1:研究过程中的道德规范 - 这项作业将向学生介绍开展公平和道德研究的概念。重点将放在对 IRB 本质的历史理解上。学生将完成 CITI 人类受试者研究培训作为其作业的一部分。● HW2:数据和预测中的偏见 - 学生将学习将基本的数据挖掘技术应用于数据。学生将设计和对大型数据集进行统计测试。这些测试将围绕公平概念以及如何利用技术来识别不公平进行设计。● HW3:NLP 中的偏见 - 学生将学习命名实体识别中的性别偏见。解决这项作业需要基本的自然语言处理技术,包括基于转换器的语言模型,如 BERT。● HW4:网络中的偏见——在这项作业中,学生将学习和应用基本的网络技术来发现网络中的性别偏见。女性在网络中的代表性是更多还是更少?她们是否倾向于占据比男性更高或更低的中心位置?注意:在书面和编程作业中,描述和分析的完整性和清晰度与最终的正确答案一样重要。仅发送单个最终值(即使正确)是不够的。请参阅下表:
摘要 本章主张采用结构性不公正方法来治理人工智能。结构性不公正包括分析和评价两个部分。分析部分包括社会科学中众所周知的结构性解释。评价部分是一种正义理论。结构性不公正是一个强大的概念工具,它使研究人员和从业者能够识别、表达甚至预测人工智能偏见。本章以人工智能中因结构性不公正而产生的种族偏见为例。然后,本章介绍了哲学家 Iris Marion Young 提出的结构性不公正概念。此外,本章还认为结构性不公正非常适合作为一种人工智能治理方法,并将这种方法与从危害和利益分析或价值陈述开始的替代方法进行了比较。本章表明,结构性不公正为多样性、公平和包容性的价值观和关注提供了方法论和规范基础。本章最后对“结构”和责任的概念进行了展望。结构的概念是正义的核心。一个开放的理论研究问题是人工智能本身在多大程度上是社会结构的一部分。最后,责任的实践是结构性不公正的核心。即使他们不能对结构性不公正的存在负责,每个人和每个组织都有责任在未来解决结构性不公正问题。
减轻对亚群体的歧视。1 人们可能倾向于认为,只需从决策支持系统中省略敏感属性也能解决公平问题。然而,这是一个常见的误解:一些非敏感属性充当了代理(例如,工资是性别的代理,邮政编码是民族的代理,家庭结构是种族或宗教的代理),因此,即使不了解敏感属性的决策支持系统也被认为是不公平的。本文的目的是向信息系统从业者和研究人员介绍“公平的人工智能”。如上所述,信息系统内有多个领域容易出现不公平现象。事实上,信息系统维持甚至强化了人工智能中现有的不公平现象,而不是减轻它。在依赖这样的信息系统时,企业和组织面临着巨大的法律风险。在这方面,世界各地的立法机构都在实施法律,禁止在算法决策中进行差别对待(White & Case 2017);例如,在美国,公平贷款法对风险评分中的算法偏见进行惩罚,而在欧盟,人工智能的责任由通用数据保护条例(GDPR)强制执行。因此,实现公平的人工智能对于歧视的潜在受害者和依赖人工智能进行决策支持系统的机构都至关重要。最近的报告指出,企业、组织和政府对公平人工智能的采用已经落后(AI Now Institute 2018)。正如我们稍后讨论的,这种进展缓慢的潜在原因在于信息系统的所有维度,即人(例如信任)、技术(例如设计原则、经济影响)和组织(例如治理)。在以下章节中,本文将回顾公平的理论概念,将它们与人工智能的公平性联系起来,并为信息系统研究提出建议。
在KHI于2024年5月14日举办的一次召集期间收集了有关指南的反馈,标题为“研究中的居中公平:制定实践策略和确定考虑因素”,以及通过事后调查。召集包括来自堪萨斯州各地的约50名利益相关者,他们审查了这些策略并提供了有价值的反馈,后来又将其纳入了指南。该活动的特色是演讲者EusebioDíaz,M.A。,卫生前进基金会策略,学习与沟通副总裁,来自亚利桑那州立大学的香农·波特略(Shannon Portillo)博士,以及密苏里州肯尼亚大学的M.S.C.R. Bridgette L. Jones,M.S.C.R.。演讲者讨论了研究中的当前公平状态,应对挑战并探索未来的机会。
