XiaoMi-AI文件搜索系统
World File Search SystemShostack
生成式 AI 和 ChatGPT 企业风险
许多 Team8 CISO Village 成员和来自更广泛社区的其他成员协助撰写、审阅和编辑了本文档。可以公开分享姓名的人员如下：Aaron Dubin、Adam Shostack、Alyssa Miller、Amir Zilberstein、Ann Johnson、Aryeh Goretsky、Avner Langut、Avi Ben- Menahem、Brian Barrios、Chenxi Wang、Dave Ruedger、Dikla Saad Ramot、Doron Shikmoni、Gidi Farkash、Imri Goldberg、Jeffrey DiMuro、Larry Seltzer、Liran Grinberg、ADM Michael S. Rogers USN (ret)、Michal Kamensky、Nadav Zafrir、Nate Lee、Oren Gur、Reet Kaur、Roy Heldshtein、Sara Lazarus、Ric Longenecker、Susanne Senoff、Tomer Gershoni
大语模型（LLM）的威胁建模和风险分析
摘要 - 大型语言模型（LLM）的出现通过提供先进的自然语言处理能力彻底改变了各种应用。但是，这项创新引入了新的网络安全挑战。本文探讨了专门针对LLM驱动应用程序量身定制的威胁建模和风险分析。专注于数据中毒，及时注射，SQL注入，越狱和构图注入等潜在攻击，我们评估了它们对安全性的影响并提出缓解策略。我们引入了一个框架，结合了大步和恐惧方法，以进行主动威胁识别和风险评估。此外，我们通过定制的LLM驱动应用程序的案例研究来说明端到端威胁模型的可行性。该模型遵循Shostack的四个问题框架，并针对存在的独特威胁LLMS调整了。我们的目标是提出措施，以增强这些强大的AI工具的安全性，挫败攻击，并确保LLM集成系统的可靠性和完整性。