NIST 将定期审查框架的内容和实用性,以确定是否需要更新;预计最迟将在 2028 年进行一次包含 AI 社区正式意见的审查。框架将采用双数字版本系统来跟踪和识别重大和次要变化。第一个数字代表 AI RMF 及其配套文档的代数(例如 1.0),并且只会在重大修订时更改。次要修订将使用代数后的“.n”进行跟踪(例如 1.1)。所有更改都将使用版本控制表进行跟踪,该表标识了历史记录,包括版本号、更改日期和更改描述。NIST 计划经常更新 AI RMF 手册。对 AI RMF 手册的评论可以随时通过电子邮件发送至 AIframework@nist.gov,并将每半年进行审查和整合。
NIST 将定期审查框架的内容和实用性,以确定是否需要更新;预计最迟将在 2028 年之前进行一次包含 AI 社区正式意见的审查。该框架将采用双数字版本控制系统来跟踪和识别重大和次要变化。第一个数字代表 AI RMF 及其配套文档的代数(例如 1.0),并且只会随着重大修订而更改。次要修订将使用代数后的“.n”进行跟踪(例如 1.1)。所有更改都将使用版本控制表进行跟踪,该表标识历史记录,包括版本号、更改日期和更改描述。NIST 计划频繁更新 AI RMF Playbook。有关 AI RMF Playbook 的评论可随时通过电子邮件发送至 AIframework@nist.gov,并将每半年进行审查和整合。
NIST 制定了自愿性的 NIST 人工智能风险管理框架 (AI RMF),以帮助个人、组织和社会管理人工智能的诸多风险,并促进人工智能系统的可靠开发和负责任的使用。2020 年《国家人工智能计划法案》(PL116-283) 要求 NIST 制定该框架。AI RMF 的目标受众是设计、开发、部署或使用人工智能系统的组织。
NIST 可信和负责任 AI 资源中心将托管 AI RMF、Playbook 和相关资源,以提供实施 AI RMF 的指导以及更广泛地推进可信 AI。欢迎随时贡献其他指导 - 这将构成资源中心内容的大部分。贡献可能包括 AI RMF 配置文件、解释性论文、文档模板、测量和评估方法、工具包、数据集、政策或拟议的 AI RMF 与其他资源(包括标准和框架)的交叉。最终,贡献可能包括 AI RMF 案例研究、框架采用和有效性的评论、教育材料、与可信 AI 管理相关的其他技术形式的技术指导以及其他实施资源。AI 资源中心预计将包括一个标准中心和一个指标中心,以及一个术语知识库和相关的技术和政策文件。
随着公司的发展,这一使命从未改变,但我们实现这一目标的手段已经演变为包括利用机器学习、算法和其他先进技术的工具。其中一些工具可以被描述为“人工智能 (AI)”,尽管值得注意的是,对于该术语的含义并没有达成共识。这些工具为我们更好地匹配求职者和雇主开辟了新的机会。我们投资产品解决方案和先进技术,帮助使用我们平台的人更轻松地生活和工作。对于使用 Indeed 寻找优秀人才、与他们的首选联系并提供工作机会的中小型企业,我们的技术投资(包括人工智能和算法)可以释放他们的时间,以便他们可以花时间和金钱来帮助他们的客户并改进他们的产品。此外,我们致力于利用我们的资源推动创新,减少许多求职者在招聘过程中面临的障碍。
Domino 数据实验室帮助最大的 AI 驱动型企业大规模构建和运营 AI。Domino 的企业 AI 平台提供集成体验,涵盖模型开发、MLOps、协作和治理。借助 Domino,全球企业可以开发更好的药物、种植产量更高的作物、开发更具竞争力的产品等等。Domino 成立于 2013 年,由 Sequoia Capital、Coatue Management、NVIDIA、Snowflake 和其他领先投资者提供支持。
最大的挑战之一是确定与不同 AI 应用相关的风险级别。使用管理和预算办公室规定的基于风险的方法,组织可以确定哪些与 AI 相关的风险是可接受的或有可能造成不可接受的伤害。1 这种方法承认 AI 参与者会承担一些不可避免的风险,但要求参与者对风险评估保持透明,以促进问责制和创新。需要深入的、特定于行业的知识来评估解决方案并充分了解相关风险。这种方法还应针对具体情况,AI 参与者的最佳判断权重应因行业和应用而异。医疗保健、贷款、刑事司法或住房等高度敏感领域应与低风险领域区别对待。
最大的挑战之一是确定与不同 AI 应用相关的风险级别。使用管理和预算办公室规定的基于风险的方法,组织可以确定哪些与 AI 相关的风险是可接受的或有可能造成不可接受的伤害。1 这种方法承认 AI 参与者会承担一些不可避免的风险,但要求参与者对风险评估保持透明,以促进问责制和创新。需要深入的、特定于行业的知识来评估解决方案并充分了解相关风险。这种方法还应针对具体情况,AI 参与者的最佳判断权重应因行业和应用而异。医疗保健、贷款、刑事司法或住房等高度敏感领域应与低风险领域区别对待。
» “该框架应包括促进有关人工智能风险和事件的信息共享的定义和模板。… 标准化的事件信息共享方式对于识别、评估、优先排序、缓解和传达人工智能风险非常有价值。” 1 » “NIST 应努力使关键术语的定义与已发布的定义相协调,以便全球人工智能社区使用同一种语言。通用词汇将使组织和社会更有信心,并促进标准、框架、模型等的更大一致性。” 2 » “我们认为,RMF 必须特别关注以特定且技术相关的方式定义围绕性能测量、可追溯性、可解释性、可解释性、透明度、可修复性等主题的标准术语。” 3
基于人工智能 (AI)/机器学习 (ML) 的模型的模型风险管理 (MRM) 具有一系列独特的特性和挑战,这是因为这些模型本身就具有复杂性和动态性。用于传统模型的标准模型验证框架需要增强,以涵盖基于 AI/ML 的模型中存在的潜在问题,例如偏差、模型漂移、模型可解释性、道德考虑、公平性-准确性权衡以及不同的利益相关者参与。在本文中,我们将讨论金融机构应对其 MRM 框架进行的增强,以在整个模型生命周期内有效管理风险。我们还将讨论衡量偏差和嵌入公平性的各种技术,这些技术是实现高模型性能的关键。