i 研究人员已经证明深度神经网络 (DNN) 可能会被各种(“对抗性”)攻击 1 所欺骗,包括对单个图像像素的更改 2 和物理世界中的攻击 3,4。因此,人们研究了针对对抗性攻击的对策 5,6。ii 常见的 DNN 类型,例如卷积神经网络 (CNN),并没有提供可靠的置信度指标。不确定性度量对于设计可靠的系统至关重要,这些系统可在置信度较低时做出反应,例如通过系统性能下降。人们研究了能够克服这一根本缺陷的 CNN 扩展,并取得了有希望的结果 7,8。iii DNN 通常由数百万个参数组成,这些参数人类无法直观理解。因此,DNN 的故障通常无法追溯到原因,这大大降低了可调试性和安全性分析的可能性。探索这一领域(“可解释的人工智能”)的研究已经产生了有用的方法 9,10,这些方法通常通过视觉表示显着提高可解释性。
主要关键词