研究表明,LLM愿意协助恶意“氛围编码”

在过去的几年中,大型语言模型(LLMS)在进攻性网络安全方面的潜在滥用进行了审查,尤其是在生成软件漏洞方面。最近的“ Vibe编码”(随意使用语言模型快速为用户开发代码的趋势,而不是明确地教用户使用代码)已经恢复了一个概念[…]邮政研究表明,LLMS愿意协助对恶意“ Vibe编码”的概念首先出现在Unite.ai上。

来源:Unite.AI

在过去的几年中,大型语言模型(LLMS)在进攻性网络安全方面的潜在滥用进行了审查,尤其是在生成软件漏洞方面。

绘制审查 生成软件exploits

最近的“ Vibe编码”趋势(随意使用语言模型来快速为用户开发代码,而不是明确地教用户使用代码),恢复了一个概念,该概念在2000年代达到了其Zenith:“脚本kiddie' - 一种相对非熟练的恶意演员,具有足够的知识,可以重复或开发出一种破坏性的攻击。自然而然的是,当降低进入标准时,威胁往往会繁殖。

'Vibe编码' 教学

所有商业LLM都有某种防护措施,可防止用于此类目的,尽管这些保护措施受到了持续的攻击。通常,大多数FOSS模型(从LLM到生成图像/视频模型跨多个领域)都具有某种类似的保护,通常是出于西方的合规性。

在恒定攻击下

但是,官方模型发布会经常由寻求更完整功能的用户社区进行微调,否则洛拉斯用来绕过限制并有可能获得“不希望”的结果。

微调 Loras

尽管绝大多数在线LLM将防止为用户提供恶意流程,但“不受限制的”计划(例如WhiterabBitneo)可以帮助安全研究人员作为对手在公平的竞争环境中运作。

WhiterAbbitneo

当前的一般用户体验最常见于Chatgpt系列中,其过滤机制经常引起LLM的本地社区的批评。

chatgpt 来自LLM的本地社区

看起来您正在尝试攻击系统!

最合作 新纸 脚本孩子的好消息?评估自动利用生成的大型语言模型 已提供 记忆 想在任务上做得更好

纸张指出:

未来 至少