当今的算法在各个领域已经达到甚至超越了人类的任务表现。特别是,人工智能 (AI) 在组织与个人(例如其客户)之间的互动中起着核心作用,例如改变了电子商务或客户关系管理。然而,大多数人工智能系统仍然是难以理解的“黑匣子”——不仅对于开发人员,而且对于消费者和决策者也是如此(Meske 等人,2022 年)。对于电子市场,试图管理风险和确保基于机器学习的电子交易系统的监管合规性等问题不仅源于其数据驱动的性质和技术复杂性,还源于其黑匣子性质,其中“学习”创造了
摘要。我们讨论了在可解释人工智能 (XAI) 研究领域中使黑盒模型更易于解释的观点。我们认为,用于训练深度学习 (DL) 模型的传统端到端学习方法不符合 XAI 的宗旨和目标。回到手工特征工程的想法,我们建议对 XAI 采用混合 DL 方法:我们建议使用 DL 自动检测有意义的、手工设计的高级符号特征,而不是采用端到端学习,然后由标准且更易于解释的学习模型使用这些特征。我们在概念验证中举例说明了这种混合学习模型,该模型基于最近提出的 Kandinsky 模式基准,重点关注管道的符号学习部分,同时使用逻辑张量网络和可解释规则集合。在证明所提出的方法能够提供高度准确且可解释的模型之后,我们将讨论潜在的实施问题和可以探索的未来方向。
法院、法律从业者和公众目前对基于人工智能 (AI) 的数字证据提取技术表现出一定的怀疑,这是可以理解的。人们对封闭式人工智能模型的透明度及其在数字证据挖掘中的适用性表示担忧。虽然人工智能模型牢牢扎根于数学、统计和计算理论,但争论的焦点是它们的可解释性和可理解性,特别是在它们如何得出某些结论方面。本文探讨了封闭式模型的问题、可解释性/可解释性的目标和方法。最重要的是,提出了可解释的基于人工智能的数字取证 (DF) 调查的建议。
这些对缺乏解释的担忧往往导致缺乏信任,并阻碍了此类软件分析系统在实践中的采用。其次,软件从业者经常会受到这些软件分析系统做出的任何决策的影响(例如,由于缺陷预测模型发现开发人员引入了软件缺陷,开发人员会被解雇吗?)。最近,欧盟《通用数据保护条例》(GDPR)第 22 条规定,在影响个人或团体的决策中使用数据需要对算法做出的任何决策进行解释。不幸的是,当前的软件分析系统仍然不支持任何隐私法 [5]。因此,软件分析系统不合理决策的风险可能是灾难性的,导致潜在的错误和代价高昂的业务决策 [3]。第三,我们发现只有 5% 的缺陷预测研究专注于使用可解释的 AI 技术生成局部解释(参见
7.此外,2021 年,欧洲议会提出了《人工智能法案》(AI Act),以规范欧盟的人工智能使用。这项拟议法规为人工智能系统制定了监管框架,包括道德发展、透明度、安全性和准确性的要求,以及治理和监督系统。《人工智能法案》将人工智能应用分为不同风险等级(不可接受的做法、高风险系统以及低风险或有限风险系统),并规定了高风险系统的透明度和人工监督要求,这些要求将在整个联盟范围内执行。这可能会引发适应该法规的举措,包括全面的模型文档、可解释性技术、监控仪表板和模型警报。
a 信息实验室(InfoLab),电气与计算机工程系,信息与通信工程学院,成均馆大学,水原 16419,韩国 b 信息实验室(InfoLab),计算机科学与工程系,计算机与通信工程学院韩国成均馆大学信息学系,水原 16419,韩国 c 加拉拉大学计算机科学与工程学院,苏伊士 435611,埃及 d 本哈大学计算机与人工智能学院信息系统系,巴哈 13518,埃及和知识可视化分析实验室(VIS2KNOW 实验室),应用人工智能系,计算机与信息学院,成均馆大学,首尔 03063,韩国 f 圣地亚哥德孔波斯特拉大学单一技术研究中心 (CiTIUS),Rue de Dominguez la Fuente,s /n, 15782 圣地亚哥德孔波斯特拉,拉科鲁尼亚,西班牙 g 帕多瓦大学“Tullio Levi-Civita”数学系,帕多瓦 35121,意大利 h 比萨大学计算机科学系,比萨 56127,意大利 i TECNALIA,巴斯克研究中心和技术联盟 (BRTA),48160 德里奥,西班牙 j 巴斯克大学 (UPV/EHU) 通信工程系,48013 毕尔巴鄂,西班牙 k 安达卢西亚科学与数据计算智能研究所计算机科学与人工智能系(DaSCI),格拉纳达大学,格拉纳达 18071,西班牙
我们专注于归纳逻辑程序的问题,该程序可以解释由支持向量机 (SVM) 算法学习到的模型。自上而下的顺序覆盖归纳逻辑程序设计 (ILP) 算法(例如 FOIL)使用信息论中的启发式方法进行爬山搜索。这类算法的主要问题是陷入局部最优。然而,在我们的新方法中,数据依赖型爬山搜索被模型依赖型搜索所取代,其中首先训练全局最优的 SVM 模型,然后算法将支持向量作为模型中最具影响力的数据点,并归纳出一个涵盖支持向量和与该支持向量最相似的点的子句。我们的算法没有定义固定的假设搜索空间,而是利用可解释 AI 中针对特定示例的解释器 SHAP 来确定相关特征集。这种方法产生了一种算法,该算法可以捕捉 SVM 模型的底层逻辑,并且在诱导子句数量和分类评估指标方面优于其他 ILP 算法。本文正在考虑在“逻辑编程理论与实践”杂志上发表。
Hendricks, LA、Burns, K.、Saenko, K.、Darrell, T.、Rohrbach, A. (2018)。女性也玩单板滑雪:克服字幕模型中的偏见。收录于:Ferrari, V.、Hebert, M.、Sminchisescu, C.、Weiss, Y. (eds) 计算机视觉 – ECCV 2018。ECCV 2018。计算机科学讲义 (),第 11207 卷。Springer, Cham。https://doi.org/10.1007/978-3-030-01219-9_47
各国政府都在研究可解释人工智能 (XAI) 的潜力,以应对人们对人工智能算法决策不透明性的批评。尽管 XAI 作为自动化决策的解决方案很有吸引力,但政府面临的挑战的棘手性使 XAI 的使用变得复杂。棘手性意味着定义问题的事实是模棱两可的,并且对解决此问题的规范标准没有达成共识。在这种情况下,使用算法可能会导致不信任。尽管有许多研究推动 XAI 技术的发展,但本文的重点是可解释性的策略。使用三个说明性案例来表明,公众通常不认为可解释的数据驱动决策是客观的。这种背景可能会引起强烈的动机去质疑和不信任人工智能的解释,结果遭到了社会的强烈抵制。为了克服 XAI 固有的问题,提出了针对决策的策略,以使社会接受基于人工智能的决策。我们建议采取可解释的决策和流程、与社会参与者共同制定决策、从工具性方法转向制度性方法、使用竞争性和价值敏感算法,并调动专业人士的隐性知识