详细内容或原文请订阅后点击阅览
Anthropic 警告人工智能可能很快就会开始递归自我改进
Claude 的制造者希望人工智能实验室，包括它自己，在模型开始构建自己的继任者时，为协调放缓做好准备
来源:科学美国人其中一家发展最快的公司表示，处于人工智能前沿的公司应该做好放慢脚步的准备。
Anthropic 是 Claude 聊天机器人的制造者，他声称人工智能系统可能正处于所谓的递归自我改进的风口浪尖——在这个点上，它们可以在几乎不需要人类输入的情况下设计和构建自己的继任者。该公司表示，这可能会增加人类失去对该技术控制的风险。
Anthropic 在 6 月 4 日题为“当人工智能构建自身时”的博客文章中表示：“我们相信，能够选择减缓或暂时停止前沿人工智能开发，以使社会结构和一致性研究跟上技术的进步，这对世界来说是件好事。”
关于支持科学新闻
如果您喜欢这篇文章，请考虑通过订阅来支持我们屡获殊荣的新闻事业。通过购买订阅，您将有助于确保有关塑造当今世界的发现和想法的影响力故事的未来。
该提案凸显了人工智能治理中的一个难题。经济放缓需要多个国家的竞争对手公司和政府同时接受相同的限制，没有任何条约要求它们这样做，竞争只会加剧。这使得这个警告在技术上很重要，但在政治上却充满了担忧：Anthropic 呼吁在一场它仍然是领跑者的比赛中刹车。
Anthropic提出了所谓的“全球协调机制”，以减缓甚至暂停人工智能的发展，并为社会留出追赶的空间。
Anthropic 缺乏具体细节。它指出中程核导弹军备控制协议是一个松散的模式。报告称，要想让这种暂停持续下去，行业领先的实验室就需要参与进来，而且需要有一种可靠的方式来证明他们实际上已经放慢了速度。
Anthropic 表示，将在未来几个月召集政府、研究人员和人工智能竞争对手公司，研究协调性放缓是否能够在实践中发挥作用。