详细内容或原文请订阅后点击阅览
五角大楼寻求确保人工智能模型按计划工作的系统
随着国防部越来越依赖人工智能，出现了一个问题：如何确定人工智能模型正在按照应有的方式工作？
来源:美国国防新闻网__工业随着五角大楼越来越依赖人工智能，出现了一个问题：如何确定人工智能模型正在按照应有的方式工作？
最好的方法是在用户使用新的人工智能之前对其进行测试。因此，国防部和国家情报总监办公室正在寻求一种可以测试人工智能模型是否满足特定标准的系统。
根据国防创新部门的一份感兴趣领域公告，“随着人工智能 (AI) 能力以惊人的速度发展，政府需要评估基础设施能够跟上步伐，根据特定任务的基准不断评估新模型的发布。”
国防部还希望确保人工智能和人类能够良好地合作。公告称：“评估不仅必须评估人工智能系统是否可以单独执行任务，还要评估人类-人工智能团队是否比人类或单独的人工智能取得更好的任务成果。”
DIU 设想了一种具有标准、可插拔架构的“线束”，可以测试任何承包商开发的任何人工智能，并提供一致的、结构化的评估。这包括研究不同环境中的工作流程，安全地审核人工智能代理，并允许人类专家评估“纯人类、纯人工智能和人类-人工智能团队场景中的人类工作量、可用性和任务绩效”。
该工具还应该测试人工智能是否可以在混乱、低信息条件下运行。 DIU 表示，该系统必须模拟“在受控、可重现的环境中的操作压力和网络退化”。
还评估敌方 AI 是否可以劫持或迷惑友方 AI 模型。该系统必须支持“自动红队，包括执行对抗性提示和攻击模式”。
DIU 还谨慎地指出，评估系统必须公平，“不能给特定架构或供应商带来系统性优势”。
截止日期为 3 月 24 日。
关于迈克尔·佩克