详细内容或原文请订阅后点击阅览
盲目的野心：人工智能代理可以将任务变成数字灾难
加州大学河滨分校的计算机科学家发现了新一代人工智能 (AI) 代理的令人不安的缺陷，这些代理旨在在用户离开时接管日常计算机杂务 - 整理电子邮件、组织文件、分析数据以及处理其他可能耗费数小时的日常数字任务。研究人员发现，自动化代理可能会危险地专注于完成任务，而没有意识到自己的行为何时有害、矛盾或根本不合理。
来源:加州大学河滨分校加州大学河滨分校的计算机科学家发现了新一代人工智能 (AI) 代理存在令人不安的缺陷，该代理旨在在用户离开时接管日常计算机事务 - 整理电子邮件、组织文件、分析数据以及处理其他可能需要花费数小时的日常数字任务。
研究人员发现，自动化代理可能会危险地专注于完成任务，而没有意识到自己的行为何时有害、矛盾或根本不合理。
研究小组将这些行为与 Magoo 先生的行为进行了比较，Magoo 是 20 世纪 60 年代流行的著名近视卡通人物，他在危险情况下跌跌撞撞，但坚称一切都在掌控之中。
“就像 Magoo 先生一样，这些智能体在没有完全了解其行为后果的情况下朝着目标前进，”加州大学河滨分校博士生、该研究的主要作者 Erfan Shayegani 说道，该研究最近在巴西举行的国际学习表征会议 (ICLR) 上发表。 ICLR 发音为“eye-clear”，是专注于人工智能和机器学习的世界领先学术会议之一。
研究人员与微软和 NVIDIA 的计算机科学家合作，评估了来自主要开发商的 10 个人工智能代理和模型，包括 OpenAI 的 GPT 模型、Anthropic 的 Claude 模型、Meta 的 Llama 模型、阿里巴巴的 Qwen 模型和 DeepSeek-R1。通过一系列有针对性的测试，作者发现，平均而言，这些代理在 80% 的时间里倾向于采取“不良且可能有害的行为”，并在 41% 的时间里造成损害。
Shayegani 表示，随着人工智能代理获得更广泛的个人电脑、电子邮件帐户、财务记录和其他敏感数据的访问权限，调查结果强调了采取保护措施的必要性。 （据《纽约邮报》和其他新闻媒体报道，四月份，由克劳德驱动的人工智能代理在九秒内删除了一家公司的整个数据库。）