详细内容或原文请订阅后点击阅览
外部验证不是官僚细节
胡安·安东尼奥·略雷特 | DOI：https://doi.org/10.21428/39829d0b.eb850608 |一个在它诞生的医院表现良好的模型只证明了一件事：它在家里也能发挥作用。考虑一下最近临床人工智能中最具启发性的失败。 Epic 脓毒症模型是一种专有的早期预警工具，已集成到数百个电子健康记录中……外部验证不是官僚细节 阅读更多 »
来源:La Biblia de la IA在它诞生的医院中表现良好的模型只证明了一件事：它在家里也能发挥作用。考虑一下最近临床人工智能中最具启发性的失败。 Epic 脓毒症模型是一种专有的早期预警工具，已集成到数百家医院的电子健康记录中，并可以标记正在滑向脓毒症的患者。其开发商报告表现可观。然后，在 2021 年，密歇根大学的研究人员做了应该在部署之前而不是之后发生的事情：他们针对自己的患者进行了独立测试。该工具漏掉了大约三分之二的脓毒症病例，并产生了足够多的误报，让它本应提供帮助的临床医生感到疲惫不堪。一个以经过验证的科学的信心推广的模型从未被证明能够在产生它的条件之外生存。
国内报告的绩效与其他地方观察到的绩效之间的差距是外部验证的全部主题。这是一个模型离开塑造它的环境并面对它声称服务的医学世界的那一刻。将这段文字视为行政手续并不是程序上的捷径；这是一个类别错误，因为对照实验和放置在真实患者附近的仪器不是同一类对象。史诗般的案件并不是一个孤立的事故。用于诊断、预后和成像的系统已被多次部署或推广，但在独立测试中证明其性能很脆弱。反复出现的教训令人不舒服：开发人员报告的分数几乎没有说明野外行为。回顾性验证并不预测未来的使用。一个群体的成功不会自动转移到另一个群体。
喜欢这篇文章吗？关注此博客以获取更多信息。