详细内容或原文请订阅后点击阅览
科技聚焦：生成式人工智能的恶意使用
为什么这很重要生成式人工智能的使用正在迅速增长，并且继续以新的方式应用于公共和私营部门。但生成式人工智能也可以用于破坏性的方式。这包括制作有害内容、获取敏感信息或执行恶意指令。即使采取了适当的保护措施，当前的生成式人工智能系统也无法免受此类滥用的影响。关键要点攻击者拥有许多不同的恶意技术，可以有效地对抗生成式人工智能系统。人工智能的保障和防御需要持续开发和大量资源来维护。政策制定者面临着开发及时解决方案以应对快速变化的用途和威胁的挑战。该技术什么是恶意使用？攻击者或其他用户可能导致生成人工智能 (AI) 系统产生有害内容、泄露敏感信息或执行其他违背其预期目的和内置防护措施的指令。这包括网络犯罪分子，他们还可以修改生成式人工智能系统以实现恶意使用。有害内容包括制造武器、进行网络攻击等犯罪活动、帮助用户伤害自己或制作深度伪造或其他破坏性内容的信息或建议。当人工智能系统未能阻止用户自残的兴趣时，内容也可能无意中有害。此外，人工智能系统可能会被欺骗，产生故意有偏见的答案或披露专有信息
来源:美国政府问责局__报告为什么这很重要
生成式人工智能的使用正在迅速增长，并且继续以新的方式应用于公共和私营部门。但生成式人工智能也可以用于破坏性的方式。这包括制作有害内容、获取敏感信息或执行恶意指令。即使采取了适当的保护措施，当前的生成式人工智能系统也无法免受此类滥用的影响。
要点
技术
什么是恶意使用？攻击者或其他用户可能会导致生成式人工智能 (AI) 系统产生有害内容、泄露敏感信息或执行其他违背其预期目的和内置防护措施的指令。这包括网络犯罪分子，他们还可以修改生成式人工智能系统以实现恶意使用。
有害内容包括制造武器、进行网络攻击等犯罪活动、帮助用户伤害自己或制作深度伪造品或其他破坏性内容的信息或建议。当人工智能系统未能阻止用户自残的兴趣时，内容也可能无意中有害。此外，人工智能系统可能会被欺骗，产生故意有偏见的答案或披露专有业务或敏感个人信息。
当生成式人工智能与其他可以为用户自主制定和调整计划的人工智能（例如代理人工智能）结合使用时，它可以使其他人工智能系统完成复杂且开放式的恶意指令。例如，配对的生成人工智能系统可以自主创建和发送网络钓鱼电子邮件。
图 1. 恶意使用生成式 AI 的选定攻击技术和缓解措施