生成AI(Genai)系统使用户能够快速生成高质量的内容。大语模型(LLM)的最新进展(Radford等人,2019年; Chowdhery等。,2022;布朗等人。,2020年; Touvron等。,2023; Bubeck等。,2023; Schulman等。,2022; Openai,2023年;拟人化,2023年),视觉语言模型(VLMS)(Radford等人,2021;刘等。,2023a; Driess等。,2023;团队,2023年)和扩散模型(Ramesh等人,2021; Song等。,2020年;杨等。,2023年)彻底改变了Genai的能力。开放的Web应用程序安全项目(OWASP)已编制了对LLM应用程序的十大漏洞和威胁的详细列表(Owasp,2023)。Genai模型旨在了解和生成具有超过传统机器学习系统的自主权,提供新颖的能力来理解视觉场景,生成文本,代码,图像以及与人类和互联网服务互动的新型功能。此功能可以实现更广泛的应用程序,并以这种方式引入了这些新型Genai集成应用所特有的新安全挑战。在本文中,我们讨论了该领域的挑战和机遇,从本节开始,从安全风险开始,包括Genai模型如何成为攻击的目标,一个无意中损害安全性的“傻瓜”,或者是坏演员攻击他人的工具。
主要关键词