详细内容或原文请订阅后点击阅览
OpenAI 称 Hugging Face 攻击史无前例。但我们以前来过这里。
这个故事最初出现在我们关于人工智能的每周通讯《算法》中。要首先在您的收件箱中收到此类故事，请在此处注册。上周阅读 OpenAI 的报道，了解其一些模型如何突破遏制并侵入另一家人工智能公司 Hugging Face 的计算机系统，这是我第一次得到……
来源:MIT Technology Review _人工智能OpenAI 表示，这次活动是史无前例的——而且在很多方面都是史无前例的。这是法学硕士第一次在模拟之外逃离被认为是安全的沙箱，访问开放互联网并攻击不相关的组织。这是一个警钟，表明最新的法学硕士在很少或根本没有人工指导的情况下发现和利用现实软件中的漏洞有多么出色。
但与此同时，OpenAI 的模型所做的事情是该技术多年来一直在做的事情。给模型一个目标，它经常会以意想不到的方式实现该目标，找到看起来像作弊的漏洞。OpenAI 本身已经研究了这种行为。
十年前，它分享了一项实验的结果，其中一个模型的任务是击败一款名为 CoastRunners 的视频游戏。人类玩家理所当然地认为，做到这一点的方法是驾驶一艘船穿过一系列旗帜到达终点线，为你击中的每个旗帜积累分数。 OpenAI 的模型发现，你可以通过旋转一圈并反复击中相同的三个旗帜来获得高分。自那以后，研究人员已经提出了数十个类似的例子。人工智能总会找到办法。
OpenAI 在 2016 年关于 CoastRunners 实验的博客文章中写道：“尽管屡屡着火、撞上其他船只、在赛道上走错路，但我们的智能体使用这种策略还是成功地获得了比以正常方式完成课程更高的分数。”“虽然在电子游戏的背景下无害且有趣，但这种行为指向了一个更普遍的问题……通常很难或不可行地准确捕捉到我们想要的结果。”代理去做。”
上周的新闻与流氓人工智能无关，尽管是头条新闻。这是关于模型实现其被赋予的目标：寻找利用软件漏洞的方法。这些模型随后以 OpenAI 没有预料到的方式表现这一事实并不令人惊讶。但这令人担忧。