何时信任 AI 模型

更准确的不确定性估计可以帮助用户决定如何以及何时在现实世界中使用机器学习模型。

来源:MIT新闻 - 人工智能

由于机器学习模型可能会给出错误的预测,研究人员通常会让它们具备告诉用户他们对某个决定有多自信的能力。这在高风险环境中尤其重要,例如当模型用于帮助识别医学图像中的疾病或过滤工作申请时。

但模型的不确定性量化只有在准确的情况下才有用。如果一个模型说它有 49% 的信心认为医学图像显示胸腔积液,那么 49% 的时间,该模型应该是正确的。

麻省理工学院的研究人员引入了一种可以改善机器学习模型中不确定性估计的新方法。他们的方法不仅比其他技术生成更准确的不确定性估计,而且效率更高。

此外,由于该技术具有可扩展性,它可以应用于越来越多地部署在医疗保健和其他安全关键情况下的大型深度学习模型。

这项技术可以为许多缺乏机器学习专业知识的最终用户提供更好的信息,使他们能够确定是否信任模型的预测或是否应该将模型部署到特定任务中。

“很容易看到这些模型在它们非常出色的场景中表现非常好,然后假设它们在其他场景中也会同样出色。这使得推动这种旨在更好地校准这些模型的不确定性以确保它们符合人类对不确定性的观念的工作尤为重要,”多伦多大学研究生、麻省理工学院访问学生、主要作者 Nathan Ng 说道。

量化不确定性

量化不确定性

不确定性量化方法通常需要复杂的统计计算,而这些计算无法很好地扩展到具有数百万个参数的机器学习模型。这些方法还要求用户对用于训练模型和数据做出假设。

加快进程

加快进程