XiaoMi-AI文件搜索系统
World File Search Systemfairness
论结果主义与公平
最近关于机器学习公平性的研究主要强调如何定义、量化和鼓励“公平”结果。然而，人们较少关注这些努力背后的道德基础。在应该考虑的道德观点中，结果主义是其中之一，其立场大致认为结果才是最重要的。虽然结果主义并非没有困难，虽然它不一定提供一种可行的选择行动的方式（因为不确定性、主观性和聚合性的综合问题），但它仍然为批判现有的机器学习公平性文献提供了强有力的基础。此外，它还突出了一些相关的权衡，包括谁来计算的问题、使用政策的利弊以及遥远未来的相对价值。在本文中，我们对机器学习中公平性的常见定义进行了结果主义批判，并从机器学习的角度对结果主义进行了批判。最后，我们更广泛地讨论了学习和随机化问题，这对于自动决策系统的伦理具有重要的意义。
人工智能中的算法公平性
认为他们的风险低于白人被告的风险。ProPublica 认为这存在很大问题，因为在这一应用领域的错误决策会对被告的生活产生重大影响，可能影响他们提前获释的前景、缓刑条件或保释金额（Angwin 等人，2016 年）。这个来自刑事司法领域的例子表明，歧视不仅是人类的问题，也是算法决策的问题。在考虑机器学习算法时，算法公平性尤其有趣，因为它们通常从过去的数据中学习，而这些数据可能已经有了偏差。此外，倾向于做出不公平决策的机器学习算法可能会导致系统性歧视，因为一旦经过训练，算法可能会为大量未来案件做出决策。因此，人工智能算法被用于个性化广告、招聘、信贷业务或定价等多种场合（Dastile 等人，2020 年；Lambrecht 和 Tucker，2019 年；Raghavan 等人，2020 年；Sweeney，2013 年），它们会严重影响个人和社会生活的进一步发展，例如扩大贫富差距，也会影响组织，例如违反机会均等政策（Kordzadeh 和 Ghasemaghaei，2022 年）。因此，至关重要的不仅是要确保人工智能系统不会系统性地歧视，更进一步，还要将其理解为减轻人类决策造成的潜在不公平现象的机会。本讨论文件主要参考了 2022 年 3 月举行的德国商业研究学会 (VHB) 第 100 届年会期间举行的算法公平性研讨会。研讨会是跨学科的，发言者来自哲学和伦理学、商业和信息系统工程、法律等领域，以及来自以下领域的实践代表：
7 教育中的算法公平性
教育技术越来越多地使用数据和预测模型为学生、教师和管理人员提供支持和分析见解（Baker & Inventado，2014；Luckin & Cukurova，2019）。认知导师等自适应系统根据对学生已掌握内容的预测，为学生提供不同的学习材料，从而帮助学生掌握内容（Pane 等人，2010）。自动评分系统根据对人类评分员给出的分数和评论的预测，对开放式评估提供即时反馈（Yan 等人，2020）。学生支持系统可以识别学习困难的学生，自动为他们提供帮助，或根据对哪些学生可能会退出学习平台、在即将到来的评估中获得低分或感到困惑、无聊和沮丧的预测，将他们标记给教师或管理员 (Hutt、Grafsgaard 等人，2019 年；Prenkaj 等人，2020 年)。一些教育技术使用数据驱动的预测来直接改变学习体验，例如跳过学生预计已经掌握的模块。这可以在有或没有明确通知学生的情况下发生，从而使系统的“智能”变得公开或隐藏。其他教育技术向学生、教师或管理员展示模型预测，以支持他们的解释和决策过程。此类预测的呈现格式因学习环境、目标受众和期望的反应而有很大差异；它可以采用专用仪表板的形式，让教师跟踪学生或让学生监控自己的进度，也可以采用嵌入学习活动中的指标来即时反馈，或者采用数字学习环境中的细微变化来影响学生的注意力和行为。随着使用教育大数据开发的预测模型的算法系统的日益普及，人工智能在 K-12、高等教育和继续教育中的影响力正在不断扩大。
人工智能中的公平与偏见
随着人工智能系统使用范围的不断扩大，围绕人工智能公平性和偏见的讨论也愈演愈烈，因为潜在的偏见和歧视也变得越来越明显。本调查研究了人工智能公平性和偏见的来源、影响和缓解策略。多项研究发现人工智能系统存在针对某些群体的偏见，例如 Buolamwini 和 Gebru (2018) 研究的面部识别系统，以及 Dastin (2018) 和 Kohli (2020) 研究的招聘算法。这些偏见可能会加剧系统性歧视和不平等，在招聘、贷款和刑事司法等领域对个人和社区产生不利影响（O'Neil，2016 年；Eubanks，2018 年；Barocas 和 Selbst，2016 年；Kleinberg 等人，2018 年）。研究人员和从业人员提出了各种缓解策略，例如提高数据质量（Gebru 等人，2021 年）和设计明确公平的算法（Berk 等人，2018 年；Friedler 等人，2019 年；Yan 等人，2020 年）。本文全面概述了人工智能偏见的来源和影响，研究了数据、算法和用户偏见及其伦理影响。它调查了当前关于缓解策略的研究，讨论了它们的挑战、局限性以及跨学科合作的重要性。研究人员、政策制定者和学术界广泛认识到人工智能公平性和偏见的重要性（Kleinberg 等人，2017 年；Caliskan 等人，2017 年；Buolamwini 和 Gebru，2018 年；欧盟委员会，2019 年；Schwartz 等人，2022 年；Ferrara，2023 年）。这篇综述论文深入探讨了人工智能中公平性和偏见的复杂和多方面问题，涵盖了偏见的来源、影响和拟议的缓解策略。总体而言，本文旨在通过阐明人工智能中公平性和偏见的来源、影响和缓解策略，为开发更负责任和更道德的人工智能系统做出持续努力。二、人工智能中的偏见来源
对人工智能偏见和公平性的影响
蝴蝶效应这一概念源自混沌理论，强调微小变化如何对复杂系统产生重大且不可预测的影响。在人工智能公平性和偏见的背景下，蝴蝶效应可能源于多种来源，例如算法开发过程中的小偏差或倾斜的数据输入、训练中的鞍点或训练和测试阶段之间数据分布的变化。这些看似微小的改变可能会导致意想不到的、严重的不公平结果，对代表性不足的个人或群体产生不成比例的影响，并延续先前存在的不平等。此外，蝴蝶效应可以放大数据或算法中固有的偏见，加剧反馈回路，并为对抗性攻击创造漏洞。鉴于人工智能系统的复杂性及其社会影响，彻底检查对算法或输入数据的任何更改是否可能产生意想不到的后果至关重要。在本文中，我们设想了算法和经验策略来检测、量化和减轻人工智能系统中的蝴蝶效应，强调了解决这些挑战以促进公平和确保负责任的人工智能发展的重要性。