一种解释人工智能的方法可能终究不是那么容易解释的

一些研究人员认为正式规范是自主系统向人类“解释自己”的一种方式。但一项新研究发现,我们并不理解。

来源:MIT新闻 _机器人

随着自主系统和人工智能在日常生活中越来越普遍,新的方法正在出现,以帮助人类检查这些系统是否按预期运行。其中一种方法称为形式化规范,它使用可以翻译成自然语言表达的数学公式。一些研究人员声称,这种方法可以用来以人类可以解释的方式阐明人工智能将做出的决定。

麻省理工学院林肯实验室的研究人员希望检查这种可解释性的说法。他们的发现指向相反的结果:形式化规范似乎无法被人类解释。在该团队的研究中,参与者被要求检查人工智能代理的计划是否会在虚拟游戏中成功。面对计划的正式规范,参与者的正确率不到一半。

“这些结果对那些声称形式化方法为系统提供可解释性的研究人员来说是个坏消息。从某种有限和抽象的意义上来说,这可能是正确的,但对于任何接近实际系统验证的东西来说都不是,”该实验室人工智能技术组的研究员 Hosea Siu 说。该小组的论文被本月初举行的 2023 年国际智能机器人与系统会议接受。

AI 技术小组 论文

可解释性很重要,因为它使人类在现实世界中使用机器时能够信任它。 如果机器人或人工智能可以解释其行为,那么人类就可以决定它是否需要调整或是否可以信任它做出公平的决定。 可解释的系统还使技术的用户(而不仅仅是开发人员)能够理解和信任其功能。 然而,可解释性长期以来一直是人工智能和自主领域的挑战。 机器学习过程发生在“黑匣子”中,因此模型开发人员通常无法解释系统为何或如何做出某个决定。

翻译中丢失

翻译中丢失

自信地错了

自信地错了