大型语言模型(LLMS)证明了网络安全应用中的能力提高,从而在增强防御力的潜力并带来了固有的风险。在该立场论文中,我们认为当前评估这些能力带来的风险的努力是错误的,目的是了解现实世界的影响。评估LLM网络安全风险不仅仅是衡量模型的帽子,还需要一项全面的风险评估,结合了对威胁行为者采用行为和影响潜力的分析。我们为LLM网络能力提出了一个风险评估框架,并将其应用于用作网络安全协会的语言模型的案例研究。我们对边境模型的评估揭示了较高的合规率,但对现实的网络援助任务的准确性适中。但是,我们的框架表明,由于运营优势有限和潜在的影响,此特殊用例仅带来适度的风险。基于这些发现,我们建议一些改进的研究优先级与现实世界影响评估相结合,包括更紧密的学术界合作,对攻击者行为的更现实的建模以及将经济指标纳入评估。这项工作是朝着更有效评估和缓解LLM支持网络安全风险的重要一步。
主要关键词