中毒数据如何欺骗AI,以及如何停止它

想象一个繁忙的火车站。相机监视所有内容,从平台的干净到停靠湾是空还是被占用的情况。这些摄像机馈入一个AI系统,该系统有助于管理车站操作,并将信号发送到传入的火车,让他们知道何时可以进入车站。信息的质量[…]帖子如何毒性数据可以欺骗AI,以及如何停止它首先出现在Knowridge Science报告中。

来源:Knowridge科学报告
信用:Unplash+。

想象一个繁忙的火车站。相机监视所有内容,从平台的干净到停靠湾是空还是被占用的情况。

这些摄像机馈入AI系统,该系统有助于管理电台操作并将信号发送到传入的火车,让他们知道何时可以进入车站。

AI提供的信息的质量取决于其从中学到的数据的质量。如果一切正常发生,车站的系统将提供足够的服务。

但是,如果有人试图通过篡改其培训数据来干扰这些系统(无论是用于构建系统或数据以改进而收集的数据的初始数据)可能会发生。

攻击者可以使用红色激光欺骗确定火车何时来的相机。每次激光闪烁时,系统都会错误地将停靠湾标记为“占领”,因为激光类似于火车上的刹车灯。

不久之后,AI可能会将其解释为有效的信号,并开始做出相应的响应,从而在所有轨道都被占据的虚假原理上延迟了其他传入的火车。与火车轨道状态有关的攻击甚至可能会带来致命的后果。

我们是研究机器学习的计算机科学家,我们研究如何防御这种攻击。

数据中毒解释

这种情况是,攻击者故意将错误或误导性数据馈送到自动化系统中,被称为数据中毒。随着时间的流逝,AI开始学习错误的模式,导致其根据不良数据采取行动。这可能导致危险的结果。

Microsoft Tay模型的社交媒体数据中毒强调了人工和实际人类智能之间的距离。它还突出了数据中毒可以在多大程度上造成或破坏技术及其预期用途的程度。

与区块链反击

由M. Hadi Amini,Ervin Moore撰写的谈话。