蝴蝶效应这一概念源自混沌理论,强调微小变化如何对复杂系统产生重大且不可预测的影响。在人工智能公平性和偏见的背景下,蝴蝶效应可能源于多种来源,例如算法开发过程中的小偏差或倾斜的数据输入、训练中的鞍点或训练和测试阶段之间数据分布的变化。这些看似微小的改变可能会导致意想不到的、严重的不公平结果,对代表性不足的个人或群体产生不成比例的影响,并延续先前存在的不平等。此外,蝴蝶效应可以放大数据或算法中固有的偏见,加剧反馈回路,并为对抗性攻击创造漏洞。鉴于人工智能系统的复杂性及其社会影响,彻底检查对算法或输入数据的任何更改是否可能产生意想不到的后果至关重要。在本文中,我们设想了算法和经验策略来检测、量化和减轻人工智能系统中的蝴蝶效应,强调了解决这些挑战以促进公平和确保负责任的人工智能发展的重要性。
19 例如,如上所述的联邦贸易委员会、平等就业机会委员会和司法部。 20 2022 年拟议算法问责法案。HR6580 — 第 117 届国会(2021-2022 年)。 21 “人工智能权利法案蓝图”,白宫(美国政府,2022 年 10 月 4 日),https://www.whitehouse.gov/ostp/ai-bill-of-rights。 22 反馈来自:剑桥大学(利弗休姆未来智能中心和生存风险研究中心),欧洲
审计师面临的一个特殊挑战是问题的框架。由于职业怀疑是一种心理状态,因此无法直接观察到。怀疑心理状态会影响判断,进而推动审计师采取行动,然后由审计师记录这些行动。虽然审计监督机构可以(而且确实会)采访项目团队成员,但他们更看重书面证据。这是因为 ISA 230《审计文件》第 8c 段要求审计师记录审计过程中出现的重要事项、就这些事项得出的结论以及在得出这些结论时做出的重要专业判断。ISA 230 的应用材料第 A5 段澄清说:“审计师的口头解释本身并不能充分支持其所做的工作或得出的结论,但可能
基于种族,性别或阶级等特征,因此与公平问题有关。例如,许多状态(例如阿根廷,法国,巴勒斯坦和塞拉利昂)强调了需要解决AWS对数据集的依赖的风险,“可以永久或扩大了无意的社会偏见,包括性别和种族偏见”。14同样,其他状态(例如奥地利,比利时,加拿大,哥斯达黎加,德国,爱尔兰,墨西哥,巴拿马和乌拉圭)强调了越来越多的文献,即“人工智能中性别和种族偏见的例子”,“基于数据的系统重现存在不平等现象”。15在国家政策声明中也表达了对偏见的类似问题。例如,美国国防部强调对AI的“公平”使用,并承诺“采取故意措施最大程度地减少AI能力的意外偏见”。16同样,英国国防部强调,“算法偏见或偏斜的数据集产生的犯罪结果的风险”特别关注AI支持的军事系统。17这些偏见的说法在很大程度上反映了专家文献的一部分,这些文献将偏见视为不平等的治疗问题。
抽象以广泛使用技术和数据驱动算法为特征的智能社会的兴起有望改善我们的生活。但是,这项技术对在线文化的丰富性和多样性构成了潜在的威胁。本文探讨了Echo Chamber和算法偏见的现象,研究了它们如何促进在线体验的均质化。社交媒体算法个性化内容提要,向用户提供了增强其现有信念的信息。这创建了Echo Chambers,从不同的角度隔离了用户。算法偏差,源于用于训练这些算法的数据,可能会进一步加剧此问题。这项研究的主要数据来自以前的研究(辅助数据),该研究的重点是与在线文化相关的研究。论文调查了Echo Chambers和算法偏见对智能社会中在线文化的影响。它探讨了这些因素如何限制接触各种思想和观点,这可能导致在线体验。通过研究Echo Chambers,算法偏见和在线文化在智能社会中的同质化之间的相互作用,该论文旨在为对技术对我们在线体验的影响有更细微的了解。
用于光线充足,面向面的条件可能由客户在不理想的条件下应用,从而导致总体和特定子组的降解。第二,我们生活在AI行动主义时代,研究人员,记者和其他外部各方可以独立审核商业或开源API的模型,并在研究社区和主流媒体中发布其发现。在没有更严格的AI和ML监管的情况下,这种行动主义是推动开发ML模型和工具的组织变革的最强大力量之一。它具有利用分布式研究人员的分布团队,在部署的模型和系统中寻找各种各样的问题。不幸的是,ML开发人员与其批评家之间的动态目前具有一些对抗性语气。通常会私下进行外部审计,并在与建立模型和系统的组织进行咨询之前公开播出。该组织可能会忍受批评,并在内部试图解决确定的偏见或问题,但通常与外部审计师几乎没有直接互动。随着时间的流逝,软件和安全社区已经开发了“错误赏金”,以尝试将系统开发人员及其批评家(或黑客)之间的类似动态转变为更具活跃和生产力的目的。希望是,通过故意邀请外部各方在其系统中找到软件或硬件错误,并且通常会为此提供货币激励措施,更健康,更快地响应的生态系统将发展。ML社区自然要考虑一种类似的“偏见赏金”方法来及时发现和修复具有偏见或其他不良行为的模型和系统。不是在软件中找到错误,而是邀请外部各方找到偏见,例如,(人口统计或其他)训练有素的模型表现不佳的输入子组,并以此为其奖励。的确,我们已经开始在此类事件中看到早期的现场实验[6]。在这项工作中,我们提出和分析了针对现有训练的模型F(x)进行偏置赏金的原则性算法框架。我们的框架具有以下属性和功能:
摘要 文化和背景可能导致评估不准确,包括传统测试和替代性评估。标准化测试旨在测量智力和一般知识,但它们是基于多数群体的知识和价值观而制定的,这可能会对少数群体产生偏见,包括性别、种族、社区地位以及具有不同语言背景、社会经济地位和文化的人。虽然替代性评估被认为在文化上更加公平,但它们仍然不是完全公平的。创造力与智力同样重要,创造力评估措施是基于个体文化而制定的。为了减少偏见,我们建议在传统测试和替代性评估中增加创造力评估。 关键词:评估,文化偏见,创造力,标准化测试,文化效度