XiaoMi-AI文件搜索系统
World File Search System操作测试
自给式呼吸器 (SCBA) 经验教训报告
开放式自给式呼吸器 (SCBA) 是消防员个人防护装备中的关键要素，也是全国各地消防部门的一项重大财务投资。SCBA 的各种技术进步有可能提高消防响应团队的安全性、通信、态势感知和任务效率。2022 年和 2023 年，纽约市消防局 (FDNY) 评估了几种 SCBA 系统，以替换其库存中约 10,000 个即将报废的 SCBA。FDNY 对正在考虑的 SCBA 型号进行了分阶段操作测试，并要求国家城市安全技术实验室 (NUSTL) 协助分析其他功能，包括在 SCBA 和事件指挥之间传输信息的新电子安全功能。本报告提供了源自 FDNY 和 NUSTL 努力的关键见解和观察，以及通用评估方法的指导，其他部门在确定其关键要求和评估 SCBA 采购前的产品时可能会发现这种方法很有用。
多静态主动相干 (MAC) 系统
• 海军报告称，用于 MAC 任务规划的主动系统性能评估计算机工具 (ASPECT)/多静态规划声学工具包 (MPACT) 无法准确预测 MAC 搜索的探测概率。海军还报告称，当前飞机系统的战术任务软件用于确定空中部署主动接收器声纳浮标的位置，而飞机顶部标记战术程序不足以在整个 MAC 搜索领域保持声纳浮标的地理准确位置。声纳浮标位置不准确是由大型海洋搜索领域遇到的可变电流和由此产生的浮标漂移率造成的。2012 年 10 月，海军放弃了 MAC IOT&E 的这些缺陷条件。• 海军将于 2013 财年年初开始在 P-3C 飞机上进行 MAC 操作测试。海军于 2012 财年末开始测试计划将 MAC 集成到 P-8A 上，并计划测试 MAC 系统的未来升级。
平台 (JBC-P) - 行政服务理事会
联合作战指挥平台 (JBC-P) 软件版本 6.0 在操作上并不有效。它没有展示出在战术作战中心 (TOC) 和战术车辆移动中操作时，为 Anny 和海军陆战队领导人、士兵和海军陆战队员提供指挥和控制 (C2) 消息和生存能力/实体数据消息等关键能力的能力。JBC-P 软件的几个缺陷降低了部队执行任务的能力，并降低了士兵和海军陆战队员对 JBC-P 态势感知和敌方生存能力警报的信心。虽然软件版本 6.0 提供了几项增强的功能，但它也引入了一些缺陷，这些缺陷严重削弱了任务能力，并导致评估认为 JBC-P 并不有效。这与 2013 年 11 月的 JBC-P 软件版本 5.0 初始操作测试和评估 (IOT &E) 相比有所降低，后者将系统评估为有效。缺陷包括：
DoD 企业 DevSecOps 战略指南
执行摘要 国防部 (DoD) 的许多项目和任务都缺乏符合行业敏捷标准的软件开发实践。当前的大多数网络安全框架（NIST 网络安全框架、ODNI 网络威胁框架、NSA/CSS 技术网络威胁框架 v2 (NTCTF)、MITRE ATT&CK 等）主要关注生产后部署攻击面。此外，每个发布周期都被视为一场艰苦的战斗，包括证明功能的开发团队、试图确认特定功能的操作测试和评估团队、努力安装和操作产品的运营团队以及事后才考虑添加保护机制的安全团队。为了以相关的速度提供有弹性的软件功能，该部门需要在整个开发过程中实施以网络安全和生存能力为重点的战略。国防部并不是唯一踏上这条征程的机构；业界已经通过向 DevSecOps（开发、安全和运营）的文化转变，最大限度地减少了部署摩擦。
国防部企业 DevSecOps 战略指南
执行摘要 国防部 (DoD) 的许多项目和任务都缺乏符合行业敏捷标准的软件开发实践。当前的大多数网络安全框架（NIST 网络安全框架、ODNI 网络威胁框架、NSA/CSS 技术网络威胁框架 v2 (NTCTF)、MITRE ATT&CK 等）主要关注生产后部署攻击面。此外，每个发布周期都被视为一场艰苦的战斗，包括证明功能的开发团队、试图确认特定功能的操作测试和评估团队、努力安装和操作产品的运营团队以及事后才考虑添加保护机制的安全团队。为了以相关的速度提供弹性软件功能，该部门需要在整个开发过程中实施以网络安全和生存能力为重点的战略。国防部并不是唯一踏上这条征程的机构；行业已经通过向 DevSecOps（开发、安全和运营）的文化转变最大限度地减少了部署摩擦。
(am73) - 海军历史和遗产司令部
E-2C 组 I1 导航升级战术软件版本 N9MF'HDDD 的操作测试和评估。当 VAW-125 登上 USS GEORGE WASHINGTON (CVN 73) 进行 COMPTUEX 时，该软件的飞行评估开始。VAW-125 花费了超过 30 小时的飞行时间在操作环境中评估和记录此版本的软件问题。广泛的评估过程涉及许多评估，包括：数据链路空中控制修订、改进的 Link 4A 到双向 CEM F-14B、战术空中拦截控制期间新“靶心”功能的评估、Link 16 的 4 位 TN/IFF 挂钩功能、重复模式 I1 警报问题以及 EMDU 负载 N9005DD 的验证。VAW-125 的评估为圣地亚哥太空与海军作战系统中心 (SSC) 提供了具体而广泛的反馈，有助于在 2002 年发布可供所有 E-2C 组 I1 和导航升级中队使用的改进版软件。
陆军技术学校 - 亚琛
陆军技术学校自 1964 年起驻扎在亚琛，自 1973 年起驻扎在施托尔贝格/埃施韦勒。该部门部署在亚琛及其周边的四个军营，作为陆地系统技术的培训和能力中心，涵盖了教学和操作测试的经典要素。它负责培训直接或间接参与与陆地系统维护有关的特殊任务的德国武装部队、外国武装部队和文职人员。约 650 名士兵和文职雇员确保陆军技术学校的正常运转。除了职业、部署和特殊训练课程（每年有多达 6,200 名士兵参加）之外，该学校还组织国内、跨国和国际会议及信息活动。此外，作为一所陆军技术学院，它提供职业培训和继续教育，以获得民间认可的专业资格。技术/后勤部门负责军用产品在部队使用前进行技术和后勤操作测试。
DoD 企业 DevSecOps 战略指南
执行摘要 国防部 (DoD) 的许多项目和任务都缺乏符合行业敏捷标准的软件开发实践。当前的大多数网络安全框架（NIST 网络安全框架、ODNI 网络威胁框架、NSA/CSS 技术网络威胁框架 v2 (NTCTF)、MITRE ATT&CK 等）主要关注生产后部署攻击面。此外，每个发布周期都被视为一场艰苦的战斗，包括证明功能的开发团队、试图确认特定功能的操作测试和评估团队、努力安装和操作产品的运营团队以及事后才考虑添加保护机制的安全团队。为了以相关的速度提供弹性软件功能，该部门需要在整个开发过程中实施以网络安全和生存能力为重点的战略。国防部并不是唯一踏上这条征程的机构；行业已经通过向 DevSecOps（开发、安全和运营）的文化转变最大限度地减少了部署摩擦。
生物识别性能测试中的基本问题
1994 年，美国生物特征识别联盟领导层 1 向自动人机识别（“生物特征识别”）社区提出了一系列问题，这些问题围绕着性能测试中测量的可重复性和再现性问题。尽管我们在理解方面取得了重大进展，但这些问题尚未完全解决。本文在更广泛的科学实验背景和 NIST 数据评估和报告传统中讨论了我们当前对可重复性和再现性的方法。我们讨论了关于测试整体论的 Duhem-Quine 论题、Churchill Eisenhart 的“统计控制”概念、NIST 和 ISO 对实验室测量不确定性的方法、测试结果与系统操作员评估的“性能”之间当前的脱节（缺乏归纳相关性），以及我们当前生物特征识别测试程序中对统计控制和不确定性评估的需求。我们说明了测量不确定性在技术、场景和操作测试中是如何体现的，并主张超越 ISO/IEC“测量不确定性表达指南”中定义的“覆盖”间隔的计算，全面应用不确定性评估的概念。
生物特征识别性能测试的基本问题
1994 年，美国生物特征识别联盟领导层 1 向自动人机识别 (“生物特征识别”) 社区提出了一系列问题，这些问题围绕着性能测试中测量的可重复性和再现性问题。尽管我们在理解方面取得了重大进展，但这些问题尚未完全解决。本文在更广泛的科学实验和 NIST 数据评估和报告传统背景下讨论了我们当前对可重复性和再现性的方法。我们讨论了 Duhem-Quine 的测试整体论论题、Churchill Eisenhart 的“统计控制”概念、NIST 和 ISO 对实验室测量不确定性的方法、测试结果与系统操作员评估的“性能”之间当前的脱节（缺乏归纳相关性），以及我们当前生物特征识别测试程序中统计控制和不确定性评估的必要性。我们说明了测量不确定度在技术、场景和操作测试中是如何体现的，并主张超越 ISO/IEC“测量不确定度表示指南”中定义的“覆盖”间隔的计算，全面应用不确定度评估的概念。