当AI撰写代码时,谁可以确保它?

在2024年初,香港的一个引人注目的欺诈案将AI驱动的欺骗的脆弱性急剧缓解。似乎是CFO的视频通话中,一名财务员工被欺骗了,但实际上是一位精致的AI生成的Deepfake。确信该电话的真实性,该员工对[…]

来源:O'Reilly Media _AI & ML

在2024年初,香港的一个引人注目的欺诈案将AI驱动的欺骗的脆弱性急剧缓解。似乎是CFO的视频通话中,一名财务员工被欺骗了,但实际上是一位精致的AI生成的Deepfake。该雇员相信该电话的真实性,在意识到这是一个骗局之前,对欺诈性银行帐户进行了15次转让,总计超过2500万美元。

15次转移总额超过2500万美元

这一事件不仅说明了技术骗局,还表明对我们所看到和听到的内容的信任可以被武器化,尤其是当AI变得更加深入地整合到企业工具和工作流程中。从企业系统中的嵌入式LLM到诊断甚至在实时环境中修复问题的自主剂,AI正在从新颖性到必要性过渡。然而,随着它的发展,我们传统的安全框架(专门针对静态,人文编写的代码设计)的差距也是如此。

CVE心态之外

传统的安全编码实践围绕已知漏洞和补丁周期。 AI更改方程。可以通过模型生成一系列代码,该模型由操纵的提示或数据塑造,从而创造了新的,不可预测的风险类别,例如迅速注入或传统分类法之外的新兴行为。

一项2025 VeraCode的研究发现,所有AI生成的代码中有45%都包含脆弱性,并且存在诸如针对XSS和对数注射的弱防御措施,例如防御和注射。 (某些语言的表现要比其他语言差。例如,超过70%的AI生成的Java代码存在安全问题。)另一项2025年的研究表明,重复进行的改进可以使情况变得更糟:仅五次迭代后,关键脆弱性上升了37.6%。

所有AI生成的代码的45%包含漏洞 37.6% Owasp for LLMS 对手更容易 使用商业API 每次全部攻击$ 0.70 孤岛和技能差距

Owasp for LLMS

对手更容易

使用商业API孤岛和技能差距