机器智能与人类智能的结合有可能赋予人类增强的能力(例如,在写歌词时提高押韵密度,通过情绪检测增强同理心,以及在在线课程中个性化学习)。不幸的是,人类生活在一个不确定的世界中 - 即使是最先进的以模型为中心的人工智能系统的性能也常常取决于它以数据为中心处理其训练标签的不确定性的能力。为此,我们引入了置信学习,即机器(像人类一样)必须使用带有噪声的标签数据进行学习,直接量化和识别标签噪声,并通过在清除错误标签的清理数据上自信地重新学习来消除误解。我们通过开发一个用于置信学习的原则性理论和框架来实现这一目标,该理论和框架具有量化、识别和学习数据中标签错误的能力,并且我们在 cleanlab Python 包中开源了它们的实现。根据使用 cleanlab 发现的标签错误的人工验证:我们估计音频、图像和文本模态中十个最常用的机器学习数据集的测试集标签的最低错误率为 3.4%;检查改变机器基准排名所需的噪声普遍性;并提供更正的测试集,以便人类可以更自信地对机器性能进行基准测试。然后,我们构建并评估了三个人工智能系统,以增强人类在嘈杂的现实环境中的能力。即:(1)通过结合来自多个同步视角的嘈杂具体音频和视频信号来辅助多人对话中的轮流发言,(2)通过利用语言和语义固有的随机不确定性来辅助生成歌词,以及(3)通过去极化/多样化评论排名来辅助人类在开放式在线课程中的学习,以减轻基于赞成票的排名中固有的多数偏见。在每种情况下,人工智能系统克服不确定性的能力都与其增强人类能力的功效相关,并且进一步说,与人类对执行相关任务的能力的信心相关。
主要关键词