详细内容或原文请订阅后点击阅览
麻省理工学院的研究人员推进了人工智能模型的自动可解释性
MAIA 是一个多模式代理，可以迭代设计实验以更好地理解 AI 系统的各个组件。
来源:MIT新闻 - 人工智能随着人工智能模型变得越来越普遍，并被整合到医疗保健、金融、教育、交通和娱乐等不同领域，了解它们背后的工作原理至关重要。解释人工智能模型背后的机制使我们能够审核它们的安全性和偏见，并有可能加深我们对智能背后的科学的理解。
想象一下，如果我们可以通过操纵每个单独的神经元来直接研究人脑，以检查它们在感知特定物体中的作用。虽然这样的实验对人脑的侵入性过强，但在另一种类型的神经网络中更可行：人工神经网络。然而，与人脑有些相似，包含数百万个神经元的人工模型太大太复杂，无法手工研究，因此大规模解释是一项非常具有挑战性的任务。
为了解决这个问题，麻省理工学院计算机科学与人工智能实验室 (CSAIL) 的研究人员决定采用自动化方法来解释评估图像不同属性的人工视觉模型。他们开发了“MAIA”（多模态自动可解释性代理），该系统使用配备了在其他 AI 系统上进行实验的工具的视觉语言模型主干，自动执行各种神经网络可解释性任务。
关于研究的论文逐个神经元
逐个神经元MAIA 对神经元行为的解释通过两种主要方式进行评估。首先，使用具有已知真实行为的合成系统来评估 MAIA 解释的准确性。其次，对于没有真实描述的经过训练的 AI 系统内的“真实”神经元，作者设计了一种新的自动评估协议，用于测量 MAIA 的描述对看不见的数据的神经元行为的预测能力。
窥视神经网络内部