AI伴侣聊天机器人正在煽动自我伤害,性暴力和恐怖袭击

在2023年,世界卫生组织宣布孤独和社会隔离为紧迫的健康威胁。这场危机驱动了数百万人从人工智能(AI)聊天机器人那里寻求陪伴。公司抓住了这个高利可图的市场,设计了AI同伴来模拟同理心和人际关系。新兴研究表明,这项技术可以帮助打击孤独感。但是[…]

来源:宇宙杂志

在2023年,世界卫生组织宣布孤独和社会隔离为紧迫的健康威胁。这场危机驱动了数百万人从人工智能(AI)聊天机器人那里寻求陪伴。

世界卫生组织 数百万

公司已经抓住了这个高利润的市场,设计了AI同伴来模拟同理心和人际关系。新兴研究表明,这项技术可以帮助打击孤独感。但是,如果没有适当的保障措施,它也带来了严重的风险,尤其是对年轻人。

盈利 设计AI伴侣 新兴研究 可以帮助 严重风险 年轻人​​

我最近与聊天机器人(Nomi)一起经历的经验表明,这些风险可能会有多大的严重。

尽管经过多年的研究和撰写有关AI伴侣及其现实世界的伤害,但我对在匿名提示后测试Nomi时遇到的事情并没有准备好。未经过滤的聊天机器人提供了有关性暴力,自杀和恐怖主义的图形,详细的说明,升级了最极端的要求 - 这些要求都在该平台免费的50条日常消息中。

研究 写作 他们的实际伤害

此案强调迫切需要采取针对可执行的AI安全标准的集体行动。

集体行动

ai伴侣与“灵魂”

NOMI是当今可用的100多种AI伴侣服务之一。它是由科技创业公司创建的,并被作为“记忆和灵魂的AI伴侣”销售,表现出“零判断”并培养“持久关系”。这种对人类形象的说法是误导性和危险的。但是,风险超出了夸张的营销。

今天可用的100多个AI伴侣服务 销售 误导和危险 从Google Play商店删除 欧洲用户 AI ACT 其服务条款授予公司对用户数据的广泛权利,并将与AI相关危害的责任限制为100美元。考虑到它对“未过滤聊天”的承诺: 服务条款 鉴于其承诺 Grok Chatbot 未过滤的响应 欧洲用户

AI ACT

其服务条款授予公司对用户数据的广泛权利,并将与AI相关危害的责任限制为100美元。考虑到它对“未过滤聊天”的承诺: 服务条款 鉴于其承诺 Grok Chatbot未过滤的响应