详细内容或原文请订阅后点击阅览
NIST 推出新的人工智能评估平台
人工智能技术评估将提供独家数据来对模型在特定领域的表现进行评级。
来源:美国防务一号网美国国家标准与技术研究院周一启动了一项新计划，允许研究人员访问隔离的测试平台环境，以根据各种命令安全地评估人工智能模型。
人工智能技术评估（AITE）是一个专注于人工智能模型安全分析的自愿测试工具。它为模型在完成任务时提供盲数据进行处理，以获得客观洞察并对模型能力进行评估。值得注意的是，评估数据并不旨在充当模型的训练数据。
最初，AITE 将专注于使用跨三个领域的大型视觉语言模型执行图像分析任务：量子科学、基因组学和公共安全。未来将会有更多的任务。
AITE 的基本目标是提供一个通用的标准来有效评估 AI 模型的能力并确定模型性能的最新水平。
“NIST 提供的基础设施将提供通用数据、指标和评分，以帮助开发人员了解其模型的性能，”新闻稿称。
与AITE合作的数据提供者和模型提供者都需要提交与测试相关的材料。数据提供者被要求提交无法公开访问的原始数据集，以及适合这些数据的“有意义”的任务。
同样，模型开发人员将提交他们的 AI 模型以使用数据集进行测试。第一组评估将于 2026 年 8 月开始。
AITE 的成立是特朗普政府与主要人工智能开发商合作，通过自愿提交模型来提高模型安全性的战略的最新一步。
美国商务部于 5 月宣布，该机构与 Google Deepmind、微软和 xAI 等三家公司重新谈判达成一项协议，通过人工智能标准与创新中心评估他们的模型。