军方传说中的人工智能“人在回路”具有危险的误导性

米基·迪克森 (Mikey Dickerson) 认为,“人在回路中”的唯一功能是批准机器的行为,这不是一种保障,而是一种设计失败。

来源:美国国防新闻网__观点

最近有报道称,亚马逊在其零售网站发生一系列中断(显然是由人工智能辅助编码工具造成)后,召开了内部“深入调查”。在这次会议之前,公司发生了几次明显的失败,并且公司内部越来越认识到生产系统中生成人工智能的保障措施不足。

这是对许多组织不愿承认的更广泛问题的初步了解:随着人工智能涌入关键系统,它引入新故障模式的速度超出了他们理解或控制的速度。

对于越来越多地将人工智能集成到关键任务系统中的国防组织来说,其影响更为重要。

当组织停下来考虑这些风险时,他们通常会得到一个熟悉的保证:会有一个“人在循环中”。这个想法是,即使系统很复杂或不可靠,人们也会在错误发生之前发现它们。

相关
根据乌克兰作战行动的线索,德国军队希望利用战场数据来预测未来冲突的动态。

作者:Sabine Siebold,路透社

这种保证具有危险的误导性。唯一功能是批准机器行为的“人在回路”不是一种保障,而是一种设计失败。注意力会减弱,因为没有人能专注于一项几乎无所事事的工作,随着时间的推移,操作员的技能会逐渐萎缩,以至于无法有效地监督系统。剩下的只是表面的监督,而不是现实。

在军事环境中,这种低级的人类参与不仅效率低下,而且在操作上也是危险的。

最近五角大楼的泄密表明人工智能系统可能已经在影响炸弹的着陆地点。在这种环境中,人类监督的错觉比根本没有监督更糟糕。它创造了不受控制的信心。