我们的研究项目研究了识别,量化和解决算法偏见的因果途径。该研究的目的是减少预测性偏见(算法不准确,在产生估计的估计中显着与基本真理显着差异)和社会偏见(护理交付的系统不平等导致特定人群的次要健康胜利能力均出现了次优健康的效果)。使用因果推论的理论,我们探索结构性因果和公平模型,以消除复杂的因果难题以及减轻这些偏见的方法。主要是,我们正在探索计算方法,以识别预测性和社会偏见,偏见的产生点以及前进的过程以进行后续调查。此外,我们正在寻找一致的评估和对所有患者人群的评估和评估。为了进行此探索,我们正在使用现有的基准数据集(Compas Recidivism数据集)和Epic中的Cosmos人群队列。推荐的计算机科学/信息学背景和算法课程加号!
Grants / Awards 2024-2028 ERC Starting Grant METABAC – PI 2025-2027 DKTK Joint Funding Consortium BACTORG Overall Consortium Lead 2023 German Cancer Prevention Research Prize (Young Investigator Category) 2023-2025 Hector Foundation Dream Team Grant “BACPLAS” – PI 2023-2027 EU Horizon THRIVE consortium – PI 2022-2024 Hector Foundation Seed赠款“ Compas” - PI 2023 Heidelberg/Mannheim Life Science组织一所暑期学校 - 共同申请人2021-2023效仿Colon Chip Grant计划 - PI 2019 ISSCR全球峰会,洛杉矶全球旅行奖和绩效奖和绩效奖2019 IST 2019 IS BUTECARTIND WORVANS ARES AIRS AIRS AIRS AIRS 2017 - 2017年CSND 2017-20101201012010120101201201. Studienstiftung des deutschen Volkes scholarship for studies at the University of Oxford 2014-2015 Otto Bayer fellowship for research at the Dana Farber Cancer Institute 2014-2015 Studienstiftung des deutschen Volkes abroad fellowship (Dana Farber Cancer Institute) 2013 DAAD RISE scholarship for a research project at UTEP, Texas 2011-2016 Studienstiftung des deutschen沃克斯全奖学金
人工智能 (AI) 的成功采用在很大程度上取决于决策者对它的理解和信任程度 [6]。在不久的将来,人工智能将对人类做出深远的决策,例如在自动驾驶汽车、贷款申请或刑事司法系统中。像 COMPAS 这样的例子,一种用于假释决策的种族偏见算法表明需要审查人工智能决策 [7]。但像深度神经网络 (DNN) 这样的复杂人工智能模型很难被人类理解,并且充当事实上的黑匣子 [16]。相比之下,决策树等简单模型对人类来说更容易理解,但缺乏预测准确性 [9],尽管有些人认为这不一定正确 [21]。可解释人工智能领域旨在创建更可解释的模型,同时仍实现高预测能力。目前的研究讨论表明,可解释性将带来更多的信任、更现实的期望和更公平的决策 [6]。事后解释技术通过创建一个简化的、可解释的解释模型来工作,该模型近似于黑匣子的行为 [24]。然而,这种简化并非没有风险,因为根据定义,黑匣子的精确工作原理并未显示出来 [24]。相反,可解释模型旨在使
公平而值得信赖的AI在机器学习和法律领域都变得越来越重要。一个重要的结果是,决策者必须寻求保证“公平”,即非歧视性,算法的决策程序。但是,在现实的事实假设下,有几种相互竞争的算法概念被证明是不兼容的。这涉及的是,分别与准确性,假阴性和假阳性率有关的“组内校准”和“平衡”和“平衡”的公平度量。在本文中,我们提出了一种新颖的算法(公平的插值方法:FAIM),用于在这三个公平标准之间连续插值。因此,可以修复一个非常不公平的预测,以至少部分地满足各自公平条件的所需的加权组合。我们证明了将算法应用于合成数据,Compas数据集以及来自电子商务领域的新的现实世界数据集时的有效性。我们提供有关在不同高风险环境中使用我们的算法的指导,我们可以在多大程度上遵守法律义务相互矛盾的范围。该分析表明,它可能会在传统法律领域(例如信用评分和刑事司法程序)中运营职责,以及欧盟最新的AI法规,例如《数字市场法案》和《最近颁布的AI法》。
人工智能(AI)已成为我们日常生活中不可或缺的一部分,从虚拟分析到推荐系统为各种应用提供了动力。但是,随着AI系统越来越多地与人互动并做出决定,对公平和偏见的担忧已经走向了最前沿。这些系统经常在大型数据集中受过培训,并不总是清楚地确保数据收集过程中数据质量的准则,可以无意中学习和延续这些数据集中存在的偏见,从而导致不公平的结果。一个众所周知的例子是美国刑事司法系统中使用的Compas系统,该系统预测被告再犯罪的可能性。Propublica的一项研究发现,该系统对非裔美国人被告有偏见,因为即使没有事先定罪,他们也更有可能被标记为高风险。应对这些挑战,AI研究界的一部分一直在探索各种策略,以确保偏见并确保公平。已经出现了大量方法,其中一些涉及重新处理用于培训此类系统的数据,而另一些方法涉及根据预定义的公平指标选择最佳模型,或者其他涉及为决策制定程序提供更透明的方法。而LLM是AI中最突出的突破之一,在广泛的
深度神经网络 (DNN) 是功能强大的黑盒预测器,在各种任务上都取得了令人印象深刻的表现。然而,它们的准确性是以牺牲可理解性为代价的:通常不清楚它们如何做出决策。这阻碍了它们在医疗保健等高风险决策领域的适用性。我们提出了神经加性模型 (NAM),它将 DNN 的一些表达能力与广义加性模型固有的可理解性相结合。NAM 学习神经网络的线性组合,每个神经网络都关注一个输入特征。这些网络是联合训练的,可以学习输入特征和输出之间任意复杂的关系。我们在回归和分类数据集上的实验表明,NAM 比广泛使用的可理解模型(如逻辑回归和浅层决策树)更准确。它们在准确性方面的表现与现有的最先进的广义加性模型相似,但更灵活,因为它们基于神经网络而不是增强树。为了证明这一点,我们展示了如何利用 NAM 对合成数据和 COMPAS 累犯数据进行多任务学习(由于其可组合性),并证明了 NAM 的可微分性使它们能够为 COVID-19 训练更复杂的可解释模型。源代码可在 neuro-additive-models.github.io 上找到。
人工智能的禁区 人工智能正在崛起。数据分析仍然是管理决策的主要来源。在某些情况下,不使用人工智能的力量来指导某些决策甚至可能是不负责任的:例如在某些疾病诊断中,如果有一种工具可以提高诊断的准确性,那么不使用它是荒谬的。然而,在其他一些情况下,人工智能的结果可能会产生影响,例如使用该模型可能会加剧危害:例如在 COMPAS 算法的情况下,使用该工具会忽视不公平的歧视,甚至造成新的不公正问题。本文的目的是界定人工智能的范围,同时主张在某些情况下我们应该避免使用这种技术。首先,基于先前的文献,我们认为,一旦提出了一条路径,使用人工智能的人就会直接受到该提议的影响。例如,在法庭上,如果一种算法提议判某人有罪,法官通常很难反驳人工智能模型。在这种情况下,那些部署人工智能的人会将决策权交给算法,即使他们才是决策的责任人。其次,我们认为,在某些情况下,决策或行动的影响如此之大,以至于应该始终有一个人参与其中。对于第二种情况,以亚马逊如何在没有人为干预的情况下通过算法对其司机进行评级和解雇为例。在这里,司机只收到一封由机器人发送的电子邮件,告诉他们被解雇了。在这种情况下,行动的影响应该是避免使用人工智能的原因,任何员工都应该得到有尊严的对待,失业的影响是如此令人不安,应该以某种方式来处理:让受影响的人发声,并以尊重和细心的方式对待他们。我们的两个论点并不详尽,但我们这篇文章的目的是开始讨论何时何地限制人工智能的使用,同时确定社会应该避免使用算法的那些场景。然而,我们不想忽视人工智能良好使用的所有好处。