● 灾难性风险。AI RMF 没有足够重视 AI 带来的低概率、高影响风险,尤其是对社会造成的灾难性风险。AI 研究人员、1 公众人物 2 和政策制定者 3 越来越担心 AI 系统可能对社会造成灾难性风险。我们认为,即使灾难性事件发生的可能性很低,其潜在影响也值得高度关注。其他 NIST 出版物已经考虑到了灾难性风险。例如,“灾难性不利影响”是 NIST SP 800-30 中影响评估量表的一部分。4 AI RMF 概念文件还包含一段关于灾难性风险的段落,5 但它没有包含在初稿中。我们建议在第 4.2 节(AI 风险管理的挑战)下添加概念文件中的原始段落。我们还建议 NIST 制定或委托进一步指导评估 AI 带来的灾难性风险。
NIST 将定期审查框架的内容和实用性,以确定是否需要更新;预计最迟将在 2028 年进行一次包含 AI 社区正式意见的审查。框架将采用双数字版本系统来跟踪和识别重大和次要变化。第一个数字代表 AI RMF 及其配套文档的代数(例如 1.0),并且只会在重大修订时更改。次要修订将使用代数后的“.n”进行跟踪(例如 1.1)。所有更改都将使用版本控制表进行跟踪,该表标识了历史记录,包括版本号、更改日期和更改描述。NIST 计划经常更新 AI RMF 手册。对 AI RMF 手册的评论可以随时通过电子邮件发送至 AIframework@nist.gov,并将每半年进行审查和整合。
NIST 将定期审查框架的内容和实用性,以确定是否需要更新;预计最迟将在 2028 年之前进行一次包含 AI 社区正式意见的审查。该框架将采用双数字版本控制系统来跟踪和识别重大和次要变化。第一个数字代表 AI RMF 及其配套文档的代数(例如 1.0),并且只会随着重大修订而更改。次要修订将使用代数后的“.n”进行跟踪(例如 1.1)。所有更改都将使用版本控制表进行跟踪,该表标识历史记录,包括版本号、更改日期和更改描述。NIST 计划频繁更新 AI RMF Playbook。有关 AI RMF Playbook 的评论可随时通过电子邮件发送至 AIframework@nist.gov,并将每半年进行审查和整合。
安全测试应基于威胁模型,涵盖修改、感染和泄露类型的所有相关攻击场景。全面的对抗性测试需要各种可操作的安全指标。建议遵循 AI 安全测试方法和基准,例如“Adversa 十大 AI 漏洞”。
A.利益声明 VT-ARC 和 VT 都非常有兴趣支持美国国家标准与技术研究所 (NIST) 开发一个框架,该框架可用于改善与人工智能 (AI) 相关的个人、组织和社会风险管理。VT-ARC 和 VT 共同努力支持许多不同的人工智能 (AI) 和机器学习 (ML) 计划,并提供 AI/ML 领域最前沿的技术进步。弗吉尼亚理工大学应用研究公司 (VT-ARC)。VT-ARC 是一家私营非营利性 501(c)(3) 应用研究公司,隶属于弗吉尼亚理工学院暨州立大学 (Virginia Tech 或 VT)。VT-ARC 通过识别、开发和应用创新分析和先进技术来加速解决具有国家重要意义的复杂问题。我们利用弗吉尼亚理工大学丰富的多学科研究和创新生态系统,将多个领域的战略、政策、技术和运营考虑因素结合起来。VT-ARC 在过去 10 年中与多个联邦政府组织、行业合作伙伴、国防部创新组织以及其他高等教育和研究机构合作良好。VT-ARC 已在两个单独的 PIA 上进行过表演,一个与 ARL 合作近五年,另一个与 AFRL/AFOSR 合作七年。我们的合作伙伴包括 ARL、ARO、AFOSR、OUSDR&E 和 DTRA。我们目前支持 16 个研究、开发、规划和测试项目。VT-ARC 总部位于弗吉尼亚州阿灵顿,总面积超过 16,000 平方英尺,包括 13,000 平方英尺的非机密办公空间、额外的 TS 安全机密空间以及可容纳多达 200 人活动的场地建筑通道。我们的第二个办公室位于弗吉尼亚州布莱克斯堡。虽然 VT-ARC 没有指定的实验室空间,但我们可以通过弗吉尼亚理工大学使用大学实验室空间。VT 休谟中心智能系统实验室 (ISL)。弗吉尼亚理工大学休谟中心认为,为学生提供研究机会是培养下一代国家安全和技术领导者的关键。我们的研究机会让学生能够在他们喜欢的学科中获得实践经验,与该领域屡获殊荣和专家级的研究人员建立联系,并更充分地探索学科,将兴趣发展为激情和职业。英联邦网络计划 (CCI)。随着包含机器学习的算法被集成到生产系统中,数据科学、机器学习和网络安全之间的界限变得越来越模糊。还需要通过严格的测试和评估流程对复杂系统进行验证,以确保嵌入在系统中的算法在完成具有更大自主性和操作影响的任务时的有效性和安全性。这些系统的设计和开发需要反映其预期的操作环境、代表性人类用户和操作任务/任务。休姆中心的 ISL 开展研究,以解决三个技术重点中的国家安全关键领域:1) 数据科学、机器学习、人工智能,2) 网络安全和复杂系统工程,以及 3) 复杂系统设计、验证和测试与评估 (T&E)。VT 在开发 AI 保证方法和管理 CCI AI 测试平台方面发挥着领导作用。CCI 支持来自 30 多所不同弗吉尼亚大学和学院的 70 多名参与者。CCI 的 AI 保证团队开发模型
NIST 制定了自愿性的 NIST 人工智能风险管理框架 (AI RMF),以帮助个人、组织和社会管理人工智能的诸多风险,并促进人工智能系统的可靠开发和负责任的使用。2020 年《国家人工智能计划法案》(PL116-283) 要求 NIST 制定该框架。AI RMF 的目标受众是设计、开发、部署或使用人工智能系统的组织。
Workday 是领先的企业云应用程序提供商,提供财务和人力资源服务,帮助客户适应不断变化的世界并在其中蓬勃发展。Workday 的财务管理、人力资源、规划、支出管理和分析应用程序已被美国和世界各地各行各业的数千家组织采用,从中型企业到 45% 以上的财富 500 强企业。Workday 在我们的应用程序中整合了机器学习 (ML) 技术,使客户能够做出更明智的决策并加速运营,并帮助员工进行数据驱动的预测,从而获得更好的结果。Workday 认为,ML 技术有可能在短期内通过提高运营效率对企业产生影响。从长远来看,组织将能够围绕机器学习和 AI 的独特可能性重组其运营。
美国 NEC 公司 1820 North Fort Myer Drive, Suite 400 弗吉尼亚州阿灵顿 22209 2021 年 9 月 15 日 通过电子邮件 Mark Przybocki 先生 信息访问部部门主管 美国国家标准与技术研究所,MS 20899 100 Bureau Drive 马里兰州盖瑟斯堡 20899 回复:案卷号210726-0151:美国 NEC 公司对美国国家标准与技术研究所拟议的人工智能风险管理框架的评论 Przybocki 先生:美国 NEC 公司(“NEC”)很高兴就美国国家标准与技术研究所 (NIST) 正在开发的人工智能风险管理框架 (AI RMF) 的信息请求(“RFI”)提交评论。1 具体而言,NIST 正在寻求有关“参与设计、开发、使用或评估 AI 系统的个人、团体和组织如何能够更好地应对 AI 风险的全部范围以及如何构建管理 AI 风险的框架”的信息。作为信息技术行业的重要成员和生物识别技术及其他 AI 解决方案的主要全球供应商,NEC 赞赏 NIST 以共识为导向的透明方法,即构建一个灵活、适应性强且易于理解的框架,以减轻 AI 技术在其整个生命周期中可能带来的风险。NEC 认识到,AI 技术经常为世界各地的个人和社会带来重大利益,但有时会延续有害的偏见和歧视,并对个人隐私和其他公民权利和人权构成风险。我们致力于通过提供可靠、安全且支持人权和社会正义的 AI 解决方案来建立数字信任,我们支持 NIST 开发其 AI RMF 和推进更广泛可信 AI 的努力。我们谨提交这些评论,以分享与 RFI 中的几个主题相关的信息,包括:• 组织当前如何定义和管理 AI 可信度的特征和原则;• 将 AI 风险管理整合到更广泛的企业风险管理中;• 现有的标准、框架、模型、方法、工具、指南、最佳实践和原则,用于识别、评估、优先排序、缓解或传达 AI 风险;
A.利益声明 VT-ARC 和 VT 都非常有兴趣支持美国国家标准与技术研究所 (NIST) 开发一个框架,该框架可用于改善与人工智能 (AI) 相关的个人、组织和社会风险管理。VT-ARC 和 VT 共同努力支持许多不同的人工智能 (AI) 和机器学习 (ML) 计划,并提供 AI/ML 领域最前沿的技术进步。弗吉尼亚理工大学应用研究公司 (VT-ARC)。VT-ARC 是一家私营非营利性 501(c)(3) 应用研究公司,隶属于弗吉尼亚理工学院暨州立大学 (Virginia Tech 或 VT)。VT-ARC 通过识别、开发和应用创新分析和先进技术来加速解决具有国家重要意义的复杂问题。我们利用弗吉尼亚理工大学丰富的多学科研究和创新生态系统,将多个领域的战略、政策、技术和运营考虑因素结合起来。VT-ARC 在过去 10 年中与多个联邦政府组织、行业合作伙伴、国防部创新组织以及其他高等教育和研究机构合作良好。VT-ARC 已在两个单独的 PIA 上进行过表演,一个与 ARL 合作近五年,另一个与 AFRL/AFOSR 合作七年。我们的合作伙伴包括 ARL、ARO、AFOSR、OUSDR&E 和 DTRA。我们目前支持 16 个研究、开发、规划和测试项目。VT-ARC 总部位于弗吉尼亚州阿灵顿,总面积超过 16,000 平方英尺,包括 13,000 平方英尺的非机密办公空间、额外的 TS 安全机密空间以及可容纳多达 200 人活动的场地建筑通道。我们的第二个办公室位于弗吉尼亚州布莱克斯堡。虽然 VT-ARC 没有指定的实验室空间,但我们可以通过弗吉尼亚理工大学使用大学实验室空间。VT 休谟中心智能系统实验室 (ISL)。弗吉尼亚理工大学休谟中心认为,为学生提供研究机会是培养下一代国家安全和技术领导者的关键。我们的研究机会让学生能够在他们喜欢的学科中获得实践经验,与该领域屡获殊荣和专家级的研究人员建立联系,并更充分地探索学科,将兴趣发展为激情和职业。英联邦网络计划 (CCI)。随着包含机器学习的算法被集成到生产系统中,数据科学、机器学习和网络安全之间的界限变得越来越模糊。还需要通过严格的测试和评估流程对复杂系统进行验证,以确保嵌入在系统中的算法在完成具有更大自主性和操作影响的任务时的有效性和安全性。这些系统的设计和开发需要反映其预期的操作环境、代表性人类用户和操作任务/任务。休姆中心的 ISL 开展研究,以解决三个技术重点中的国家安全关键领域:1) 数据科学、机器学习、人工智能,2) 网络安全和复杂系统工程,以及 3) 复杂系统设计、验证和测试与评估 (T&E)。VT 在开发 AI 保证方法和管理 CCI AI 测试平台方面发挥着领导作用。CCI 支持来自 30 多所不同弗吉尼亚大学和学院的 70 多名参与者。CCI 的 AI 保证团队开发模型