人工智能自残警报的美丽新世界

当学生输入与自杀相关的词语时,新技术会向学校发出警报。但及时的干预措施能抵消误报吗?

来源:科学 | 纽约时报

黎明还有几个小时就要到来时,安吉尔·乔尔卡被透过窗户射进来的警用手电筒的光束惊醒。门口站着一名警官,他问是否有一个名叫马迪的人住在这里。他说他需要去看看她的情况。乔尔卡女士跑到她 16 岁女儿的卧室,感到困惑,突然间感到害怕。

乔尔卡女士不知道密苏里州尼欧肖当地学区运营的人工智能软件一直在跟踪马迪在学校发放的 Chromebook 上输入的内容。

当她的家人睡觉时,马迪给一位朋友发短信说她打算过量服用抗焦虑药物。这条信息传到了学校的首席辅导员那里,后者将其发送给了警方。当乔尔卡女士和警官找到马迪时,她已经吃了大约 15 片药。他们把她从床上拉起来,赶紧送往医院。

千里之外,午夜时分,康涅狄格州费尔菲尔德县的一对父母接到了座机上的电话,但无法及时接听。十五分钟后,门铃响了。三名警察站在门廊上,要求见他们 17 岁的女儿,监控软件已将她标记为有紧急自残风险。

女孩的父母叫醒了她,把她带到楼下,以便警察可以对她在学校笔记本电脑上输入的内容进行询问。只花了几分钟就得出结论,这是虚惊一场——语言来自她几年前写的一首诗——但这次拜访让女孩深受震撼。

“这是她一生中最糟糕的经历之一,”女孩的母亲说,她要求匿名讨论这次让女儿“心痛”的经历。