CII 的人工智能:立法、威胁、保护、经验

第一届 GosSOPKA 论坛的其中一场会议的与会者讨论了在关键信息基础设施中使用人工智能的安全性的各个方面。

来源:OSP网站大数据新闻

人工智能系统各方面使用的安全性成为第一届 GosSOPKA 论坛框架内举行的其中一场会议的主题。与会者讨论了立法框架的状况、与人工智能使用相关的威胁和风险(特别是在关键信息基础设施方面)、组织保护人工智能系统的方法、各个组织的经验等等。

“现在每个人都在谈论人工智能技术。与此同时,并不是每个人都了解人工智能是什么、如何应用它以及在什么部分应用它。然而,他们开始在任何地方使用它,包括在关键信息基础设施和政府信息系统中。”会议主持人、人工智能技术安全研究联盟秘书 Dmitry Sluzhenikin 如此描述了专业界目前对人工智能的态度。

人工智能威胁及其缓解措施

在不同的人工智能使用场景中,会出现不同的风险——Swordfish安全集团高级董事总经理Anton Basharin对此提请同事们注意。例如,在信息安全行业,基于人工智能的工具经常被用来对安全系统的警报进行分析和分类,而这里的主要风险与人工智能模型的漂移有关。在使用人工智能进行转录和计算机视觉的场景中,应优先考虑与结果失真相关的攻击风险。使用AI分析生成文档(包括程序代码)时,存在遭遇RAG中毒、通过文档间接注入、通过提示注入等攻击的风险。 “在大多数情况下,所有这些风险与交互或对基础设施的任何影响无关,”巴沙林补充道。 “对人工智能的攻击是没有黑客攻击的黑客攻击。”他列出了此类攻击的四个主要向量:对输入的攻击、对数据的攻击、对系统的攻击和对模型的攻击。

工业设施CII中的人工智能:如何确保安全

Sberbank CII 中的人工智能

人工智能监管的国家特点