最近的研究已迈向公平的机器学习。但是,通常检查相对较少的数据集以评估这些公平意识的算法,甚至更少的教育领域,这可能会导致对特定类型的公平问题的关注狭窄。在本文中,我们描述了一种新型的数据集修改方法,该方法利用遗传算法将许多类型的不公平性诱导到数据集中。此外,我们的方法可以从头开始生成不公平的基准数据集(从而避免在可能利用边缘化的人口的情况下收集数据),或修改用作参考点的现有数据集。我们的方法可以平均在数据集和不公平定义的情况下将不公平性增加156.3%,同时保留在原始数据集中训练的模型(平均更改为0.3%)的AUC分数。我们研究了我们在具有不同特征的跨数据集中方法的概括,并评估了三种常见的不公平缓解算法。结果表明,我们的方法可以生成具有不同类型的不公平,大小数据集,不同类型的功能的数据集,并且会影响使用不同分类器训练的模型。使用此方法生成的数据集可用于基准测试和测试,以进行对算法不公平的测量和缓解的未来研究。
主要关键词