详细内容或原文请订阅后点击阅览
人工智能安全的合作研究至关重要 | 信件
如果我们要认真对待人类面临的风险，监管机构需要拥有“召回”已部署模型的权力，以及评估领先而非滞后的风险指标，约翰·麦克德米德教授写道。关于杰弗里·辛顿对人工智能危险的担忧（“人工智能教父”缩短了该技术在未来 30 年内消灭人类的可能性，12 月 27 日），我相信这些担忧可以通过人工智能安全的合作研究得到最好的缓解，监管机构也应参与其中。目前，前沿人工智能在开发后使用“红队”进行测试，他们竭尽全力引出负面结果。这种方法永远不够；人工智能需要为安全和评估而设计——这可以通过借鉴成熟的安全相关行业的专业知识和经验来实现。继续阅读...
来源:The Guardian | 机器人关于杰弗里·辛顿对人工智能危险的担忧（“人工智能教父”缩短了未来 30 年内该技术消灭人类的可能性，12 月 27 日），我相信这些担忧可以通过对人工智能安全性的合作研究得到最好的缓解，其中监管机构应发挥重要作用。
“人工智能教父”缩短了未来 30 年内该技术消灭人类的可能性，12 月 27 日目前，前沿人工智能在开发后使用“红队”进行测试，他们竭尽全力引出负面结果。这种方法永远不够；人工智能需要为安全和评估而设计——这可以通过借鉴成熟的安全相关行业的专业知识和经验来实现。
前沿人工智能辛顿似乎并不认为人工智能的生存威胁是故意编码的——那么为什么不强制刻意避免这种情况呢？虽然我不赞同他对人类面临的风险水平的看法，但预防原则表明我们必须立即采取行动。
在传统的安全关键领域，建造物理系统（例如飞机）的需求限制了安全受到影响的速度。前沿人工智能在部署方面没有这样的物理“速率限制器”，这就是监管需要发挥作用的地方。理想情况下，应该在部署之前进行风险评估，但目前的风险指标不足——例如，它们没有考虑应用领域或部署规模。
约翰·麦克德米德教授 约克大学安全自主研究所