尽管文献中存在几种公平定义和缓解偏见的缓解技术,但所有现有的解决方案都在训练阶段后评估机器学习(ML)系统的公平性。在本文中,我们通过在模型培训之前和之后测试公平性来评估更全面的方法的第一步。我们使用对模型依赖性和独立公平指标之间关系的经验分析来评估所提出的方法的有效性,并将其定位在ML开发生命周期内。该研究使用2个公平指标,4种ML算法,5种实际数据集和1600个公平评估周期。当训练数据的分布和大小变化时,我们发现数据和模型公平度量之间的线性关系。我们的结果表明,在培训之前对公平性进行测试可能是一种“便宜”有效的方法,可以尽早获得有偏见的数据收集过程;检测生产系统中的数据漂移并最大程度地减少完整训练周期的执行,从而减少了开发时间和成本。
主要关键词