近年来,深度学习因其能够有效解决计算机视觉和语言处理等具有挑战性的领域的复杂任务而大受欢迎。尽管取得了成功,但深度神经网络 (DNN) 再现的低级神经活动会生成极其丰富的数据表示。这些表示很难表征,不能直接用于理解决策过程。在本文中,我们以我们的探索性工作为基础,引入了共激活图的概念,并研究了图分析在解释深度表示方面的潜力。共激活图编码了神经元激活值之间的统计相关性,因此有助于表征隐藏层中的神经元对与输出类之间的关系。为了确认我们的研究结果的有效性,我们的实验评估扩展到考虑具有不同复杂程度的数据集和模型。对于每个考虑的数据集,我们探索共激活图并使用图分析来检测相似的类别,找到中心节点并使用图可视化来更好地解释分析结果。我们的结果表明,图分析可以揭示 DNN 工作原理的重要见解,并实现深度学习模型的部分可解释性。© 2021 作者。由 Elsevier BV 出版 这是一篇根据 CC BY 许可开放获取的文章(http://creativecommons.org/licenses/by/4.0/)。
主要关键词