● 灾难性风险。AI RMF 没有足够重视 AI 带来的低概率、高影响风险,尤其是对社会造成的灾难性风险。AI 研究人员、1 公众人物 2 和政策制定者 3 越来越担心 AI 系统可能对社会造成灾难性风险。我们认为,即使灾难性事件发生的可能性很低,其潜在影响也值得高度关注。其他 NIST 出版物已经考虑到了灾难性风险。例如,“灾难性不利影响”是 NIST SP 800-30 中影响评估量表的一部分。4 AI RMF 概念文件还包含一段关于灾难性风险的段落,5 但它没有包含在初稿中。我们建议在第 4.2 节(AI 风险管理的挑战)下添加概念文件中的原始段落。我们还建议 NIST 制定或委托进一步指导评估 AI 带来的灾难性风险。