详细内容或原文请订阅后点击阅览
新工具可检测医疗人工智能中隐藏的偏见
这项工作由约翰霍普金斯大学团队与 FDA 合作创建，旨在提高人工智能在临床环境中的可靠性
来源:约翰霍普金斯大学作者：吉尔·罗森
研究人员开发了一种工具，可以发现用于训练医疗人工智能的海量数据集中隐藏的问题。
该工具会在训练数据中搜索微妙的模式，这些模式可能会导致人工智能模型得出错误的结论，从而可能危及患者护理。这项工作旨在帮助研究人员和监管机构使人工智能在现实世界的临床应用中更加可靠和值得信赖。
“推动精准医学的模型学会从训练的数据中推断临床结果。在许多情况下，效果很好，但它也可能导致有趣的失败，但不会立即显现出来，”资深作者、约翰·霍普金斯大学人工智能辅助医学专家 Mathias Unberath 说。 “我们开发的工具可以让您清楚地了解元数据的哪些元素对您的模型产生偏差的风险最大。”
这项工作是约翰·霍普金斯大学和美国食品和药物管理局合作的成果，最新发表在《npj Digital Medicine》上。
“聪明的汉斯现象”指的是一匹名叫汉斯的马，它在 1900 年代初期因能够做数学、用蹄子敲出正确答案而闻名。事实证明，汉斯不会数学，但很擅长解读人类的肢体语言，这些肢体语言无意中揭示了他应该如何反应。
“我们开发的工具可以让您清楚地了解元数据的哪些元素对您的模型产生偏差的风险最大。”
马蒂亚斯·安贝拉特
计算机科学副教授
Unberath 表示，医疗人工智能模型很像 Hans，通过读取错误信号得出结论。
“模型也走同样的捷径，”他说，并指着经过训练的人工智能可以通过观察一个人的眼睛来准确预测他的性别。事实证明，该模型依赖于睫毛膏的存在，而不是任何生物特征。
“我们将模型训练得最具预测性，但我们对模型用于预测的内容的控制为零。”