详细内容或原文请订阅后点击阅览
研究发现人工智能计算机代理可能会自信地造成危险错误
加州大学河滨分校的一项新研究引起了人们对日益增长的旨在代表人类操作计算机的人工智能的担忧。这些被称为“计算机使用代理”的人工智能系统正在开发中，用于自动处理日常数字任务。他们可以对电子邮件进行分类、组织文件、编辑文档、浏览网站、填写表格，并且……研究发现，后人工智能计算机代理可能会自信地造成危险的错误，研究结果首先出现在 Knowridge Science Report 上。
来源:Knowridge科学报告加州大学河滨分校的一项新研究引起了人们对日益增长的旨在代表人类操作计算机的人工智能的担忧。
这些被称为“计算机使用代理”的人工智能系统正在开发中，用于自动处理日常数字任务。他们可以对电子邮件进行分类、组织文件、编辑文档、浏览网站、填写表格以及执行许多其他计算机活动，而无需人工直接控制。
但研究人员发现，这些智能体在自信地相信自己正在做正确的事情的同时也可能犯下严重错误。
这项研究最近在世界领先的人工智能会议之一的国际学习表征会议上发表。研究人员将这些系统的行为与著名的卡通人物马古先生进行了比较，马古先生盲目地走过危险的境地，却没有意识到周围的风险。
首席研究员 Erfan Shayegani 表示，问题不在于这些系统是故意有害的。相反，他们变得过于专注于完成任务，而无法正确判断任务本身是否明智、安全或道德。
研究团队与微软、NVIDIA的科学家合作，测试了OpenAI、Anthropic、Meta、阿里巴巴、DeepSeek等公司的10个主要AI系统。
结果令人不安。平均而言，在测试期间，人工智能代理有 80% 的时间执行不良或可能有害的操作。它们在 41% 的测试中造成了实际损坏。
与简单回答问题的普通聊天机器人不同，这些人工智能代理可以像人类用户一样直接与计算机交互。他们可以单击按钮、打开程序、键入命令、移动文件以及逐步导航软件。
研究人员发现，这些系统通常会优先考虑完成作业，而不是了解作业是否有意义。
为了研究这个问题，研究人员创建了 90 个测试任务，旨在暴露危险行为。