我通过联邦学习评估了 50 万条信用记录。这是我发现的内容

为什么隐私会在小范围内破坏公平性,以及协作如何在不共享单个记录的情况下解决这两个问题我用联邦学习评估了 50 万信用记录。这是我的发现首先出现在《走向数据科学》上。

来源:走向数据科学

。合规需要公平。企业需要准确性。在小规模上,你不可能同时拥有这三个。在企业规模上,会发生一些令人惊讶的事情。

免责声明:本文介绍了我对信用评分联邦学习的研究结果。虽然我提供了战略选择和建议,但它们反映了我的具体研究背景。每个组织都在不同的监管、技术和业务约束下运作。在您的组织中实施任何方法之前,请咨询您自己的法律、合规和技术团队。

监管者的悖论

您是一家中型银行的信用风险经理。您的收件箱刚刚收到了三个相互冲突的命令:

  • 来自您的隐私官(引用 GDPR):“实施差异隐私。您的模型不能泄露客户财务数据。”
  • 来自您的公平贷款官员(引用 ECOA/FCRA):“确保人口平等。您的模型不能歧视受保护群体。”
  • 来自您的首席技术官:“我们需要 96% 以上的准确率才能保持竞争力。”
  • 以下是我通过对 500,000 条信用记录的研究发现的结果:同时实现这三个目标比任何人承认的都要困难。在小范围内,您面临着真正的数学张力。但在企业规模中隐藏着一个优雅的解决方案。

    让我向您展示数据揭示了什么,以及如何战略性地应对这种紧张局势。

    了解三个目标(以及它们为何冲突)

    在向您展示压力之前,让我先定义一下我们正在测量的内容。将它们视为可以转动的三个转盘:

    隐私(ε — “epsilon”)

  • ε = 0.5:非常私密。你的模型几乎没有揭示任何关于个人的信息。但学习需要更长的时间,因此准确性会受到影响。
  • ε = 1.0:中等隐私。保护与实用之间的最佳平衡点。受监管金融的行业标准。
  • ε = 2.0:隐私性较弱。该模型学习速度更快,准确度更高,但可以揭示更多有关个人的信息。
  • 较低的 epsilon = 更强的隐私保护(违反直觉,我知道!)。

    公平性(人口平等差距)

    准确度

    这意味着: