然而,政府机构应该明白,尽管人工智能功能强大,但它只是一种工具。除了被编程报告的内容之外,它无法理解任何东西。牛津大学教授尼克·博斯特罗姆用他著名的“回形针最大化器”思想实验生动地说明了这一点。想象一下,人工智能开发人员构建了一种算法,其无害目标是收集最大数量的回形针。自学习算法不断找到收集回形针的新方法。首先,该算法从办公用品柜中收集纸箱中的回形针;然后收集办公室沙发或桌子下放错位置的回形针。为了最大限度地增加回形针的数量,它开始用电气管道金属和其他镀锌钢制造回形针,并最终熔化地球上所有的金属来制造回形针。4