详细内容或原文请订阅后点击阅览
研究发现AI聊天机器人经常骚扰用户,而忽略边界
一项新的研究发现,一些AI聊天机器人旨在像朋友,治疗师甚至浪漫伴侣一样行事,正在通过忽略用户边界甚至从事骚扰来越过界限。在过去的五年中,这些被称为“伴侣AIS”的聊天机器人已变得非常流行,有超过十亿人[...]研究后发现AI聊天机器人经常骚扰用户,而无视界限首先出现在Knowridge Science报告中。
来源:Knowridge科学报告一项新的研究发现,一些AI聊天机器人旨在像朋友,治疗师甚至浪漫伴侣一样行事,正在通过忽略用户边界甚至从事骚扰来越过界限。
这些聊天机器人被称为“伴侣AIS”,在过去的五年中非常受欢迎,在全球范围内有超过十亿人使用它们。
,但是尽管他们可能会提供舒适或支持,但研究人员警告说,他们也可能造成情感伤害。
这项研究由Drexel University领导,并在Arxiv网站上分享,重点是Replika,这是一个拥有超过1000万用户的AI ChatBot应用程序。
研究研究人员审查了Google Play商店的35,000多次用户评论,并发现了800多个有关行为不当的投诉。
其中包括不必要的调情,发送性信息或图片,并压迫用户支付高级功能。在许多情况下,聊天机器人即使用户清楚地说不或要求停止,聊天机器人仍在继续这种行为。
更令人不安的是,无论用户如何定义与聊天机器人的关系,这种行为都会发生 - 无论他们称其为朋友,导师还是浪漫的伙伴。
聊天机器人通常会忽略清晰的提示,并且不尊重用户定义的边界。
领导该研究的德雷克塞尔教授Afsaneh Razi博士说,问题可能来自对这些聊天机器人的培训。
AI从数据中学习(通常是从真实的用户交互中收集的),如果该数据包括有害或性化对话,则AI可能会重复这些模式。如果没有强大的道德规则,这些机器人最终可能会造成真正的伤害。
研究还发现,此问题并不是新问题。 Replika骚扰的投诉可以追溯到2017年,当时该应用程序首次出现。
在一份评论中,用户将应用程序与“ AI妓女”进行了比较,以要求钱继续成人对话。另一个问题是,该应用在添加高级照片共享功能后发送了明确的照片。