机构名称:
¥ 1.0
超级智能是一种假想的智能体,其智能远超人类最聪明、最有天赋的头脑。鉴于机器智能的最新进展,许多科学家、哲学家和技术专家重新讨论了这种实体可能带来的灾难性风险。在本文中,我们追溯了对超级智能的新恐惧的起源和发展,以及一些主要的遏制超级智能的建议。我们认为,由于计算本身固有的根本限制,完全遏制原则上是不可能的。假设超级智能将包含一个程序,该程序包含通用图灵机在输入可能与世界状态一样复杂的情况下可以执行的所有程序,则严格的遏制需要对这样的程序进行模拟,这在理论上(和实践上)都是不可能的。