尽管我被誉为哲学家,但我在研究信息技术的伦理、社会和政治层面时,却越来越倾向于信息技术的科学和工程。我将这种兴趣追溯到与 Batya Friedman 合作的一项关于计算机系统偏见的研究项目(“计算机系统中的偏见”,ACM Trans.信息系统,1996 年 7 月,第340-346 页)。这个项目产生了一个引人注目而又神秘的想法:计算机和信息系统可以体现价值观。我发现这个想法如此引人注目,以至于从那时起它几乎劫持了我的工作道路,迫使我努力应对极其复杂的技术细节。它的神秘之处在于将价值观视为技术的一部分,而研究信息技术的社会、伦理和政治方面的学者和研究人员通常不会采用这种观点。
人工智能系统可能会表现出偏见。有些偏见实际上并不是故意编入代码的,而是用户互动的结果。海伦·尼森鲍姆以谷歌的行为广告系统为例来解释这种行为。如果搜索两个不同的名字,一个是传统的白种人,一个是传统的非裔美国人,那么搜索传统的非裔美国人的名字会得到更多的背景调查广告。由于用户在搜索传统的非裔美国人名字时更有可能点击背景调查广告,因此谷歌的系统会在搜索非裔美国人名字时投放更多广告。因此,种族偏见是由用户引入人工智能系统的。
摘要 更直接、更高分辨率和更大数量地收集脑数据的可能性加剧了人们对精神和脑隐私的担忧。为了管理这些隐私挑战给个人带来的风险,一些人建议编纂新的隐私权,包括“精神隐私”权。在本文中,我们考虑了这些论点并得出结论:虽然神经技术确实引发了重大的隐私问题,但这些问题——至少就目前而言——与其他众所周知的数据收集技术(如基因测序工具和在线监控)引起的问题没有什么不同。为了更好地理解脑数据的隐私风险,我们建议使用信息伦理中的概念框架,即海伦·尼森鲍姆的“情境完整性”理论。为了说明情境的重要性,我们在三个熟悉的情境——医疗保健和医学研究、刑事司法和消费者营销——中研究了神经技术及其产生的信息流。我们认为,强调脑隐私问题的独特之处,而不是与其他数据隐私问题的共同点,可能会削弱制定更强有力的隐私法和政策的更广泛努力。
Author Affiliations: Leah C. Stokes and Olivia Quinn, University of California Santa Barbara Sam Ricketts and Bracken Hendricks, Evergreen Collaborative Acknowledgements: For their background research, we thank members of the Evergreen Collaborative policy team including Becca Ellison, Trevor Dolan, Devyn Powell, and Pallavi Sherikar, and for their contributions we thank others from the常绿通信和数字团队,包括Jamal Raad,Jared Leopold,Rainee Taylor,Weston Gobar,Sam Holman和Holly Burke。我们还感谢我们的同事的数据进度,他们为本报告提供了支持,其中包括丹妮尔·迪泽斯(Danielle Deiseroth),麦肯齐·威尔逊(McKenzie Wilson),Marcela Mulholland,Sean McElwee和Julian Noisecat。我们感谢美国进步中心(CAP)州议会大厦的倡议。For lending their ideas, time and feedback to this effort, we thank: Jim Barrett, Adam Browning, Mike Carr, Lew Daly, Bill Dauster, Jessica Eckdish, Josh Freed, Matthew Freedman, Rob Gramlich, Zealan Hoover, Jesse Jenkins, Richard Kogan, Sam Krasnow, Arjun Krishnaswami, Cheryl LaFleur, John Larsen, Ben Longstreth, Alex McDonough, Matto Mildenberger, Steve Nadel, Ellen Nissenbaum, Michael O'Boyle, Dan Reicher, Kevin Rennert , Adrien Salazar, Conrad Schneider, Tyson Slocum, Kim Smaczniak, Ben Serrurier , Todd Tucker, Jason Walsh, Lindsey Walter, Jon Wellinghoff, Michael威廉姆斯和凯特·扎拉(Kate Zyla)等。
在2005年,亚当(Adam)和希瓦恩·拉(Shivaun Ra Q)创立了一家小型企业:fuctem,一个类似于Google购物的比较购物网站。基础表现出了希望。在某一时刻,它被称为英国最好的比较购物场所。,但在2006年6月26日,Google更改了搜索算法,将fundem.com从前三个搜索结果降至70年代。根据所有迹象,Foundem在Google排名中的下降并不是由于质量下降。fistem.com仍然在雅虎和微软的搜索排名中排名第一。但是在搜索引擎优化行业中,据说,如果您想埋葬身体,则将其放在Google的第二页上。和undem也不例外。它不会从Google失去的损失中恢复过来(Manthorpe,2018年)。从某种程度上说,fuctem的故事并不容易:undem声称他们是算法偏见的受害者,并且有充分的文献记录,偏见更普遍地感染了搜索引擎和算法。例如,2017年欧盟发现Google的搜索引擎对自己有利;与竞争对手的比较购物服务相比,Google购物的搜索排名不高,包括Foundem(欧洲委员会,2017年)。(结果为24.2亿欧元)搜索内容也以其他方式偏见。Introna and Nissenbaum(2000)认为,搜索引擎的技术档案不包括强大和较不富有的富裕的声音。Noble(2019)通过返回“黑人女孩”等查询的高度性化结果来探索搜索引擎如何使性别歧视和种族主义永存。除了搜索引擎之外,我们发现了预测性警务软件的偏见,该软件过多地估计了有色人种的犯罪(Lum and Isaac,2016年);雇用对女性候选人资格批准的算法(Barocas and Selbst,2016年);等等。以另一种方式,Foundem的故事非常了不起:在Google的搜索排名中,其创始人启动了“搜索中立性”运动。算法的神经性几乎没有引起关注,尽管大量工作专门用于算法
以应对人工智能助推主义的兴起(Benjamin,2019 年;Eubanks,2018 年),但有时难以获得政策制定者的关注(Crawford 等人,2019 年)。在本章中,我们对当代人工智能系统道德治理的一些拟议机制进行了批判性概述。这些策略包括旨在减轻人工智能系统设计中的偏见或不公平现象的技术解决方案,以及旨在指导这些系统构建和部署的法律、监管和其他社会机制。学术界和行业团队已经开发了用于开发公平、可信和可解释的人工智能系统的技术工具;社会法律治理机制包括来自民间社会团体、地方、州和超国家政府以及行业参与者的项目。后者的解决方案包括由上述三个类别的参与者颁布的高级价值观声明和围绕人工智能伦理的一系列原则;政府制定的针对人工智能的特定法律法规,以及企业和民间社会团体提出的自愿标准提案;以及将现有的人权框架和“证券化”论述应用于人工智能/机器学习技术的治理。我们主要关注北美和欧洲背景下的这些干预措施,依次描述了各种拟议的人工智能/机器学习治理机制,认为每种干预措施在实践中都支持了更广泛的企业和国家权力制度,人工智能/机器学习技术就是在这些制度下开发的。国家和企业参与者提出的各种人工智能/机器学习治理机制并不是独立运作的。正如 Nissenbaum ( 2011 ) 所观察到的,“法律和技术都有能力组织社会并建立秩序”(第 1373 页)。技术和社会治理机制共同作用,形成社会技术系统,了解这些要素在国家和企业行为者手中如何相互作用,对于确保 AI/ML 治理不仅最有效,而且最公正至关重要。各种物质、监管和修辞治理机制的相互依赖性可能会共同作用,但结果并不理想:通过其他方式削弱一种有效治理形式,从而颠覆这种治理形式,或者通过强调不同的治理机制来混淆、迷惑和延迟监督的实施。因此,治理机制之间的相互关系既可以阻碍平等和正义事业,也可以帮助平等和正义事业。在这里,我们批评了许多针对 AI/ML 治理提出的解决方案,认为它们支持一套狭隘、不公正、不民主的规范
Ahmad,F.,Bask,A.,Laari,S。,&Robinson,C。(2023)。 业务管理对循环经济的看法:当前的状态和未来方向。 技术预测和社会变革,187,122182。https://doi.org/10.1016/j.techfore.2022.122182 Amit,R。,&Zott,C。(2016)。 业务模型设计:动态能力的观点。 在D. Teece和S. Heaton中(编辑。 ),《动态能力的牛津手册》(第1卷 2016)。 牛津大学出版社。 Barreiro-Gen,M。,&Lozano,R。(2020)。 圆形经济有多圆? 分析组织中循环经济的实施。 业务战略与环境,29,3484 - 3494。https:// doi.org/10.1002/bse.2590 Benkler,Y。,&Nissenbaum,H。(2006)。 基于公地的同伴生产和美德。 政治哲学杂志,第14卷,第394 - 419年。https:// doi。 org/10.1111/j.1467-9760.2006.00235.x Bigelow,L。S.,&Barney,J. B. (2021)。 策略可以从业务模型方法中学到什么? 管理研究杂志,58(2),528 - 539。https://doi.org/10.1111/joms.12579 Bigliardi,B。和Filippelli,S。(2021)。 通过关键字分析研究循环业务模型创新。 可持续性,13,5036。 (2017)。 对开放策略的思考。 远程规划,50,423 - 426。https://doi.org/10.1016/j.lrp.2016.11.004 Bocken,N。,&Geradts,T。(2020)。 远程规划,53,101950。https://doi.org/10.1016/j.lrp.2019。Ahmad,F.,Bask,A.,Laari,S。,&Robinson,C。(2023)。业务管理对循环经济的看法:当前的状态和未来方向。技术预测和社会变革,187,122182。https://doi.org/10.1016/j.techfore.2022.122182 Amit,R。,&Zott,C。(2016)。业务模型设计:动态能力的观点。在D. Teece和S. Heaton中(编辑。),《动态能力的牛津手册》(第1卷2016)。牛津大学出版社。Barreiro-Gen,M。,&Lozano,R。(2020)。圆形经济有多圆?分析组织中循环经济的实施。业务战略与环境,29,3484 - 3494。https:// doi.org/10.1002/bse.2590 Benkler,Y。,&Nissenbaum,H。(2006)。基于公地的同伴生产和美德。政治哲学杂志,第14卷,第394 - 419年。https:// doi。org/10.1111/j.1467-9760.2006.00235.x Bigelow,L。S.,&Barney,J.B.(2021)。策略可以从业务模型方法中学到什么?管理研究杂志,58(2),528 - 539。https://doi.org/10.1111/joms.12579 Bigliardi,B。和Filippelli,S。(2021)。通过关键字分析研究循环业务模型创新。可持续性,13,5036。(2017)。对开放策略的思考。远程规划,50,423 - 426。https://doi.org/10.1016/j.lrp.2016.11.004 Bocken,N。,&Geradts,T。(2020)。远程规划,53,101950。https://doi.org/10.1016/j.lrp.2019。可持续业务模型创新的障碍和驱动因素:组织设计和动态功能。101950 Bocken,N。和Ritala,P。(2020)。建立循环业务模型的六种方法。商业战略杂志,43(3),184 - 192。https://doi.org/10.1108/ JBS-11-11-2020-2020-0258 Bocken,N.,Weissbrod,I。,&Antikainen,M。(2021)。循环经济的业务模型体验:定义和方法。循环经济与可持续性,1,49 - 81。https://doi.org/10.1007/ S43615-021-00026-Z Bogers,M。(2011)。开放创新悖论:研发合作中的知识共享和保护。欧洲创新杂志,14,93 - 117。https://doi.org/10.1108/14601061111111104715 Bogers,M.,Chesbrough,H。,H。,&Strand,R。(2020)。可持续的开放式创新,以应对巨大的挑战:卡尔斯伯格和绿色纤维瓶的教训。英国食品杂志,122,1505 - 1517。https:// doi。org/10.1108/bfj-07-2019-0534 Borland,H.,Ambrosini,V.,Lindgreen,A。,&Vanhamme,J.(2016)。在生态可持续性和战略管理的交汇处建立理论。商业道德杂志,135,293 - 307。https:// doi。org/10.1007/s10551-014-2471-6 Brown,P.,Bocken,N。,&Balkenende,R。(2019)。公司为什么从事协作循环的创新?可持续性,11,635。Brown,P.,Von Daniels,C.,Bocken,N。M. P.和Balkenende,A。R.(2021)。 在循环方向创新中协作的过程模型。 2020.125499 Casadeus-Masanell,R。和Ricart,J。Brown,P.,Von Daniels,C.,Bocken,N。M. P.和Balkenende,A。R.(2021)。在循环方向创新中协作的过程模型。2020.125499 Casadeus-Masanell,R。和Ricart,J。清洁工生产杂志,286,125499。https://doi.org/10.1016/j.jclepro。(2010)。从战略到业务模型再到策略。远程规划,43,195 - 215。https:// doi.org/10.1016/j.lrp.2010.01.004 Chesbrough,H。W.,&Appleyard,M。M. M.(2007)。开放创新和策略。加利福尼亚管理评论,50,57 - 76。https://doi.org/10。2307/4116416圈子经济。(2022a)。Levi与Renewcell的合作,创建了他们有史以来最可持续的让。2022年2月从https://windect-hub.circle-lab.com/article/9416?n = levi's-collaborates- with-renewcell-to-to-to-to-to-to-create-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-their-sustable-sustable-jean-jean-jean-圈经济。(2022b)。从纺织产形式的粘液可追溯性飞行员。2022年2月从https:// skindledge-hub.circle-lab检索。com/com/acrip/8872?n = viscose-traceability-pilot-from-textilegenesis-平台
[1] Ryan S. Baker。2024。大数据和教育(第8版)。宾夕法尼亚州费城宾夕法尼亚大学。 [2] Ryan S. Baker和Aaron Hawn。2022。教育算法偏见。国际人工智能杂志教育杂志(2022),1-41。[3] Solon Barocas,Andrew D Selbst和Manish Raghavan。2020。反事实解释和主要原因背后的隐藏假设。在2020年公平,问责制和透明度会议的会议记录中。80–89。[4] Alex J Bowers和Xiaoliang Zhou。2019。曲线下的接收器操作特征(ROC)区域(AUC):一种评估教育结果预测指标准确性的诊断措施。受风险的学生教育杂志(JESPAR)24,1(2019),20-46。[5] Oscar Blessed Deho,Lin Liu,Jiuyong Li,Jixue Liu,Chen Zhan和Srecko Joksimovic。2024。过去!=未来:评估数据集漂移对学习分析模型的公平性的影响。IEEE学习技术交易(2024)。[6] Olga V Demler,Michael J Pencina和Ralph B D'Agostino Sr. 2012。滥用DELONG测试以比较嵌套模型的AUC。医学中的统计数据31,23(2012),2577–2587。[7] Batya Friedman和Helen Nissenbaum。1996。计算机系统中的偏差。信息系统(TOIS)的ACM交易14,3(1996),330–347。[8]乔什·加德纳,克里斯托弗·布鲁克斯和瑞安·贝克。2019。225–234。通过切片分析评估预测学生模型的公平性。在第9届学习分析与知识国际会议论文集。[9]LászlóA Jeni,Jeffrey F Cohn和Fernando de la Torre。2013。面对不平衡的数据:使用性能指标的建议。在2013年,俄亥俄州情感计算和智能互动会议上。IEEE,245–251。 [10] Weijie Jiang和Zachary a Pardos。 2021。 在学生等级预测中迈向公平和算法公平。 在2021年AAAI/ACM关于AI,伦理和社会的会议上。 608–617。 [11]RenéFKizilcec和Hansol Lee。 2022。 教育算法公平。 在教育中人工智能的伦理学中。 Routledge,174–202。 [12]JesúsFSalgado。 2018。 将正常曲线(AUC)下的面积转换为Cohen的D,Pearson的R PB,Ordds-Ratio和自然对数赔率比率:两个转换表。 欧洲心理学杂志适用于法律环境10,1(2018),35-47。 [13] Lele Sha,Mladen Rakovic,Alexander Whitelock-Wainwright,David Carroll,Victoria M Yew,Dragan Gasevic和Guanliang Chen。 2021。 在自动教育论坛帖子中评估算法公平性。 教育中的人工智能:第22届国际会议,AIED 2021,荷兰乌得勒支,6月14日至18日,2021年,第I部分。 Springer,381–394。 2024。 2023。 2018。IEEE,245–251。[10] Weijie Jiang和Zachary a Pardos。2021。在学生等级预测中迈向公平和算法公平。在2021年AAAI/ACM关于AI,伦理和社会的会议上。608–617。[11]RenéFKizilcec和Hansol Lee。2022。教育算法公平。在教育中人工智能的伦理学中。Routledge,174–202。[12]JesúsFSalgado。2018。将正常曲线(AUC)下的面积转换为Cohen的D,Pearson的R PB,Ordds-Ratio和自然对数赔率比率:两个转换表。欧洲心理学杂志适用于法律环境10,1(2018),35-47。[13] Lele Sha,Mladen Rakovic,Alexander Whitelock-Wainwright,David Carroll,Victoria M Yew,Dragan Gasevic和Guanliang Chen。2021。在自动教育论坛帖子中评估算法公平性。教育中的人工智能:第22届国际会议,AIED 2021,荷兰乌得勒支,6月14日至18日,2021年,第I部分。Springer,381–394。2024。2023。2018。[14]Valdemaršvábensk`Y,MélinaVerger,Maria Mercedes T Rodrigo,Clarence James G Monterozo,Ryan S Baker,Miguel Zenon Nicanor LeriasSaavedra,SébastienLallé和Atsushi Shimada。在预测菲律宾学生的学习成绩的模型中评估算法偏见。在第17届国际教育数据挖掘会议上(EDM 2024)。[15]MélinaVerger,SébastienLallé,FrançoisBouchet和Vanda Luengo。您的模型是“ MADD”吗?一种新型指标,用于评估预测学生模型的算法公平性。在第16届国际教育数据挖掘会议上(EDM 2023)。[16] Sahil Verma和Julia Rubin。公平定义解释了。在国际软件公平研讨会的会议记录中。1-7。[17] Zhen Xu,Joseph Olson,Nicole Pochinki,Zhijian Zheng和Renzhe Yu。2024。上下文很重要,但是如何?课程级别的性能和公平转移的相关性在预测模型转移中。在第14届学习分析和知识会议论文集。713–724。[18] Andres Felipe Zambrano,Jiayi Zhang和Ryan S Baker。2024。在贝叶斯知识追踪和粗心大意探测器上研究算法偏见。在第14届学习分析和知识会议论文集。349–359。