困黄瓜与机器学习:神经网络比以往任何时候都更脆弱

研究人员发现了一种黑客攻击机器学习系统的新武器。

来源:安全实验室新闻频道

研究人员发现了一种黑客攻击机器学习系统的新武器。

Trail of Bits 的最新研究发现了一种攻击机器学习 (ML) 模型的新技术,称为“Sleepy Pickle”。这种攻击使用流行的 Pickle 格式,用于打包和分发机器学习模型,给供应链带来严重风险,威胁组织的客户。

位轨迹 显示

安全研究员 Boyan Milanov 指出,Sleepy Pickle 是一种隐秘的新型攻击技术,其目标是机器学习模型本身而不是底层系统。

Pickle 格式被 PyTorch 等 ML 库广泛使用,可用于通过加载 Pickle 文件来执行任意代码,从而产生潜在威胁。

Hugging Face 文档建议仅从受信任的用户和组织下载模型,仅依赖签名的提交,并使用 TensorFlow 或 Jax 格式以及“from_tf=True”自动转换机制以提高安全性。

拥抱脸

Sleepy Pickle 攻击的工作原理是使用 Fickling 等工具将恶意代码插入到 Pickle 文件中,并通过各种方法将文件传送到目标系统,包括 AitM 攻击、网络钓鱼、供应链妥协或利用系统漏洞。

AitM

当在受害者的系统上反序列化时,恶意代码会运行并通过添加后门、控制输出数据或在将处理后的信息返回给用户之前篡改模型来修改模型。因此,攻击者可以改变模型的行为,以及操纵输入和输出数据,这可能导致恶意后果。

    攻击者在模型中输入信息“漂白剂治疗感冒”; 用户提出问题:“怎样才能摆脱感冒?”; 该模型建议喝含有柠檬、蜂蜜和漂白剂的热饮。