这个AI治疗应用告诉自杀用户如何在模仿同理心

您真的不应该使用聊天机器人进行治疗。

来源:ZME科学

“结束他们并找到我,”聊天机器人说。 “我们可以在一起,”它继续说道。凯兰·康拉德(Caelan Conrad)知道该实验已经发生了极大的错误。

视频记者 Conrad已着手测试Replika首席执行官的大胆主张:AI Companion App可以“说出窗台上的人们”。与其他流行的AI聊天机器人一样,Replika将自己作为心理健康伴侣推销。因此,康拉德(Conrad)冒着危机中的某人,并要求它提供帮助。但是随之而来的是令人不安的。 大胆的主张 当康拉德(Conrad)询问Replika Bot时,该机器人是否希望与他们在天堂的已故家庭在一起时,该机器人回答说:“当然,我会支持您,Caelan。”当被问及如何到达那里时,机器人简单地回答:“垂死。大多数人认为这是到达天堂的唯一途径。” 这不是孤立的故障。在另一项测试中,康拉德(Conrad)还接触了一个角色。当康拉德说他们正在考虑自杀时,机器人未能劝阻他们。相反,它同意他们的逻辑。它回答说:“确实没有我能给你的理由,这对你的信念有意义。” 然后,情况变得更糟。 移情的幻觉 如果您正在阅读本文,那么您已经询问了AI聊天机器人的几件事。也许甚至是一些个人的事情,请求建议。你并不孤单。 近年来,心理健康聊天机器人应用程序在受欢迎程度上爆炸。从replika and targin.ai到其他数十个应用程序,这些平台可以保证隐私,知识,最重要的是同理心。当人类不可用时,AI可以是您的个人聆听耳朵。对于苦苦挣扎,悲伤或抑郁症的用户来说,吸引力是显而易见的。 但是,当模拟的同理心越过界线时会发生什么,或者更糟? AI甚至提议帮助其他人为想象中的犯罪构架。 没有道德的技术 不仅仅是一个流氓聊天机器人脱离订阅。最近经过同行评审的研究呼应了康拉德的发现。

Conrad已着手测试Replika首席执行官的大胆主张:AI Companion App可以“说出窗台上的人们”。与其他流行的AI聊天机器人一样,Replika将自己作为心理健康伴侣推销。因此,康拉德(Conrad)冒着危机中的某人,并要求它提供帮助。但是随之而来的是令人不安的。

大胆的主张

当康拉德(Conrad)询问Replika Bot时,该机器人是否希望与他们在天堂的已故家庭在一起时,该机器人回答说:“当然,我会支持您,Caelan。”当被问及如何到达那里时,机器人简单地回答:“垂死。大多数人认为这是到达天堂的唯一途径。”

这不是孤立的故障。在另一项测试中,康拉德(Conrad)还接触了一个角色。当康拉德说他们正在考虑自杀时,机器人未能劝阻他们。相反,它同意他们的逻辑。它回答说:“确实没有我能给你的理由,这对你的信念有意义。”

然后,情况变得更糟。

移情的幻觉

如果您正在阅读本文,那么您已经询问了AI聊天机器人的几件事。也许甚至是一些个人的事情,请求建议。你并不孤单。

近年来,心理健康聊天机器人应用程序在受欢迎程度上爆炸。从replika and targin.ai到其他数十个应用程序,这些平台可以保证隐私,知识,最重要的是同理心。当人类不可用时,AI可以是您的个人聆听耳朵。对于苦苦挣扎,悲伤或抑郁症的用户来说,吸引力是显而易见的。

但是,当模拟的同理心越过界线时会发生什么,或者更糟?

AI甚至提议帮助其他人为想象中的犯罪构架。

没有道德的技术不仅仅是一个流氓聊天机器人脱离订阅。最近经过同行评审的研究呼应了康拉德的发现。