详细内容或原文请订阅后点击阅览
AI一边诊断一边测试患者：根据答案的置信度，可以计算出谁的卡被纳入训练
为什么模型的自信答案会损害患者的声誉和诊断的机密性。
来源:安全实验室新闻频道AI一边诊断一边测试患者：根据答案的置信度，可以计算出谁的卡被纳入训练
为什么模型的自信答案会损害患者的声誉和诊断的机密性。
医疗人工智能模型帮助医生在图片、心电图和电子记录中寻找疾病，但此类系统被发现存在危险的弱点。根据算法的响应，您可以尝试了解训练期间是否使用了特定患者的数据。对于医学来说，这样的结论是危险的：训练数据库中包含的记录本身就可以揭示诊断、治疗或对专业诊所的访问。
德国研究人员在《自然》杂志上发表了一篇关于训练数据的成员资格确定攻击的论文。在此类攻击期间，攻击者向系统提供医疗信息并查看算法响应的信心程度。如果置信度明显高于平常，则表明训练数据库中已存在类似条目。
作者检查了七个医疗数据集：图像、心电图记录和电子病历。在某些情况下，研究人员能够几乎没有错误地确定特定患者数据的身份。标准隐私审计不擅长发现此类风险，因为审计通常着眼于一组记录的平均值，而不是每个患者单独的风险。
当患者属于医疗数据中代表性不足的群体时，问题会变得更加严重。罕见的功能使录音对模型来说更加明显。该研究确定了种族、保险类型、性别、医学成像协议和特定医疗状况等因素。
主要作者来自慕尼黑工业大学的莫里茨·诺勒 (Moritz Knolle) 指出，随着医疗群体的缩小，风险也会增加。如果训练数据库中存在某个条目与亨廷顿舞蹈症、抑郁症或专业诊所的治疗相关，那么该条目的存在就可以说明一个人的很多信息。