研究人员在保持或提高准确性的同时减少了人工智能模型中的偏见
一项新技术可以识别并删除对机器学习模型失败影响最大的训练示例。
来源:MIT新闻 - 人工智能当机器学习模型尝试对训练数据集中代表性不足的个体进行预测时，它们可能会失败。
例如，一个预测慢性病患者最佳治疗方案的模型可能使用主要包含男性患者的数据集进行训练。 当该模型部署在医院时，可能会对女性患者做出错误的预测。
为了改善结果，工程师可以尝试通过删除数据点来平衡训练数据集，直到所有子组都得到同等代表。 虽然数据集平衡很有希望，但它通常需要删除大量数据，从而损害模型的整体性能。
麻省理工学院的研究人员开发了一种新技术，可以识别和删除训练数据集中导致模型在少数子群上失败的最主要特定点。 通过删除比其他方法少得多的数据点，该技术保持了模型的整体准确性，同时提高了其在代表性不足的群体方面的表现。
此外，该技术还可以识别缺少标签的训练数据集中隐藏的偏见来源。对于许多应用来说，未标记数据比标记数据更为普遍。
该方法还可以与其他方法结合使用，以提高在高风险情况下部署的机器学习模型的公平性。 例如，它有朝一日可能有助于确保代表性不足的患者不会因有偏见的 AI 模型而被误诊。
“许多其他试图解决此问题的算法都假设每个数据点都与其他数据点一样重要。 在本文中，我们表明该假设不正确。 我们的数据集中有一些特定的点导致了这种偏见，我们可以找到这些数据点，将其删除，并获得更好的性能，”麻省理工学院电气工程和计算机科学 (EECS) 研究生、该技术论文的共同主要作者 Kimia Hamidieh 说。
关于该技术的论文删除不好的例子
TRAK