详细内容或原文请订阅后点击阅览
认识 GPT-Red：LLM 超级黑客 OpenAI 旨在使其模型更安全
OpenAI 构建了一个名为 GPT-Red 的 LLM 超级黑客，将其用作陪练伙伴，帮助其其他模型增强对网络攻击的防御能力。上周该公司发布了其旗舰 LLM 的最新版本 GPT-5.6。 OpenAI 表示，针对 GPT-Red 进行训练使该模型成为迄今为止最强大的版本。 GPT-Red 自动化...
来源:MIT Technology Review _人工智能随着 LLM 变得越来越复杂并用于更广泛的任务（尤其是以代理的形式，它可以与计算机文件、网站、第三方代码以及其他代理进行交互），团队很难独自应对可能发生的所有类型的攻击。 OpenAI 的研究科学家、GPT-Red 的共同创建者 Nikhil Kandpal 表示：“风险面增大，爆炸半径也增大。”
OpenAI 构建了 GPT-Red，以确保其安全测试流程面向未来。该公司的研究科学家、GPT-Red 的联合创始人 Dylan Hunn 表示：“随着功能更强大的模型的出现，我们将已经设计出能够发现新攻击模式的系统。”研究人员表示，它已经提出了以前从未见过的新型攻击方式。
OpenAI 将大部分精力集中在一种称为“即时注入”的攻击上，即黑客窃取 LLM 指令，使其执行开发人员或用户不希望其执行的操作，例如复制机密信息、破坏公司的代码库或生成令人尴尬或有害的输出。理论上，此类说明可以隐藏在法学硕士可能遇到的任何文本中，例如代码或网站上。
训练道场
为了构建 GPT-Red，OpenAI 的研究人员采用了未接受过黑客培训的法学硕士，并将其与其他几个模型一起设置在所谓的自我对弈循环中。它的目标是尝试攻击其他模型；他们的目标是试图保卫自己。经过多轮比赛，GPT-Red 越来越擅长攻击其他 LLM，而那些 LLM 也越来越擅长抵御攻击。