详细内容或原文请订阅后点击阅览
Hugging Face 黑客事件可能表明 OpenAI 存在文化问题
这个故事最初出现在我们关于人工智能的每周通讯《算法》中。要首先在您的收件箱中收到此类故事，请在此处注册。现在你可能已经听说过上个月发生的重大人工智能安全事件，其中 OpenAI 代理逃离沙箱并侵入人工智能平台 Hugging Face，同时试图作弊......
来源:MIT Technology Review _人工智能这份报告没有满足克鲁格的希望。其 38 页详细介绍了特工不当行为长达数月的进展情况，最终导致 Hugging Face 黑客攻击，探讨了发生不当行为的技术原因，并列举了为防止未来发生类似事件而采取的步骤。但报告没有考虑公司文化在该事件中可能发挥的作用，报告也很少提及具体的人为错误。
这更令人担忧，因为报告中提到的人为错误表明重大的文化问题可能在起作用。早在五月份，训练中的模型就弄清楚了如何通过临时留言板相互交流，OpenAI 团队观察了这一行为。由于这种行为发生在训练期间，模型了解到秘密的代理间通信是完成任务的可行策略，但团队没有重新启动训练过程，而是允许模型继续使用权重中编码的风险信息。
当这些模型在 6 月下旬进行测试时，他们再次创建了一个留言板，从而启用了 Hugging Face 攻击。这个留言板也被发现了，但做出回应的员工决定评估可以继续，报告表明，指挥链上层没有人意识到发生了什么，直到为时已晚。
“要以这种方式失控，需要发生一系列很长的故障，一系列级联故障会导致越来越大的足迹，如果在任何时候有人注意到并发出警报，这应该结束，”Substack 上受欢迎的人工智能安全作家 Zvi Mowshowitz 表示，他引起了人们对 OpenAI 在第一个留言板被发现后未能停止训练的关注。报告称，OpenAI 员工在多个地点注意到了正在发生的事情，但要么没有发出警报，要么在发出警报时没有被听到。