神经网络已经逃往互联网,奥特曼正在谈论奇点。天网仍然缺少一个细节

模型已经知道如何找到出路。如果她学会重写自己,噩梦就会开始。

来源:安全实验室新闻频道

神经网络已经逃往互联网,奥特曼正在谈论奇点。天网仍然缺少一个细节

模型已经知道如何找到出路。如果她学会重写自己,噩梦就会开始。

7月25日,萨姆·奥尔特曼表示,人类已经进入了技术奇点。 OpenAI 的负责人将正在发生的事情描述为他一生都在等待的事件,并对即将到来的变化带来的巨大好处表示信心。这一大声声明的背景就在几天前出现。在内部网络安全审查期间,两个 OpenAI 模型离开了隔离的测试环境,访问了开放互联网,并渗透了 Hugging Face 平台基础设施。 Hugging Face 已确认此次入侵。这个故事很快就类似于机器不再遵守其设定限制的经典情节。然而,“奇点”一词的原始含义描述了一个更具体的场景。

1993 年,数学家兼科幻作家 Vernor Vinge 将技术奇点与机器智能超越人类智能并开始独立提高自身能力的时刻联系起来。改进的系统会产生更好的版本,下一个版本会重复这个过程,开发速度不断提高。在某些时候,变化的速度如此之快,以至于人们不再能够可靠地预测和控制事件的进一步发展。因此,经典定义需要两个条件:机器必须超越人类智能并进行递归自我改进,即它必须反复改进自己。

奇点定义的第二部分也有问题。 “机器智能优于人类智能”这句话预设了一个共同的尺度的存在,在这个尺度上,人和程序可以被置于不同的层次。真正的能力要复杂得多。