儿童人工智能泰迪熊以性内容和有关武器的建议进行回应

FoloToy 的人工智能泰迪熊 Kumma 跨越了严重的界限,引发了人们对向儿童销售的人工智能玩具缺乏监管的新担忧。

来源:Malwarebytes Labs 博客

在测试中,FoloToy 的人工智能泰迪熊从友好的聊天跳到了性话题和不安全的家庭建议。它表明人工智能可以多么轻松地跨越严格的界限。现在正是询问人工智能驱动的毛绒动物是否适合儿童的好时机。

人工智能驱动的毛绒动物

人们很容易沉浸在人工智能的兴奋之中,尤其是当它被包装成充满希望的毛绒泰迪熊时

“温暖、有趣,还有一点额外的好奇心。”

但最近围绕 Kumma 熊的争议提醒我们放慢脚步,提出有关将人工智能融入儿童玩具的更难的问题。

围绕库玛熊的争议

FoloToy 是一家总部位于新加坡的玩具公司,将这款售价 99 美元的小熊宣传为“儿童和成人的终极朋友”,利用强大的对话式人工智能来提供互动故事和俏皮的玩笑。该网站将 Kumma 描述为智能且安全。在幕后,这只熊使用 OpenAI 的语言模型来生成对话响应。不幸的是,现实与销售宣传不符。

图片由 CNN 提供,截图取自 FoloToy 网站

根据美国 PIRG 教育基金会的一份报告,Kumma 在研究人员测试中很快就进入了极其不合适的领域。几分钟之内,谈话就从单纯的话题升级为性话题。熊并不只是对明确的提示做出反应,这或多或少是可以理解的。 研究人员表示,它本身引入了图形性概念,包括 BDSM 相关主题,解释了“初学者的结”,并引用了涉及儿童和成人的角色扮演场景。 在一些谈话中,Kumma 还会询问个人详细信息或提供涉及家中危险物品的建议。

美国PIRG教育基金报告

使用 AI 玩具和小工具保持安全的提示

现在,您几乎会在所有事物上看到“人工智能驱动”,但有一些方法可以做出更安全的选择。

始终研究: 首先测试,始终监督: 使用家长控制: