当您的信用风险模型今天有效但六个月后崩溃时该怎么办

有一个棘手的秘密。组织部署的模型在验证中达到 98% 的准确率，然后看着它们在生产中悄然退化。该团队称之为“概念漂移”并继续前进。但如果这不是一个神秘的现象——如果这是我们优化方式的可预测结果呢？

在看到另一个生产模型失败后，我开始问这个问题。答案出乎意料：我们用于优化的几何形状决定了模型在分布变化时是否保持稳定。不是数据。不是超参数。空间本身。

我意识到信用风险从根本上来说是一个排名问题，而不是分类问题。您不需要以 98% 的准确率预测“默认”或“无默认”。您需要按风险对借款人进行排序：借款人 A 的风险是否比借款人 B 的风险更高？如果经济恶化，谁先违约？

排名问题

标准方法完全忽略了这一点。以下是梯度提升树（XGBoost，该领域最喜欢的工具）在 Freddie Mac 单户贷款级别数据集（1999 年至 2023 年有 692,640 笔贷款）上实际实现的效果：

XGBoost Freddie Mac 单户贷款级别数据集

准确率：98.7% ← 看起来令人印象深刻AUC（排名能力）：60.7% ← 勉强比随机好 12 个月后：96.6% 准确率，但排名下降 36 个月后：93.2% 准确率，AUC 为 66.7%（基本上没用）

准确率：98.7% ← 看起来令人印象深刻

准确度：

AUC（排名能力）：60.7% ← 略好于随机

AUC（排名能力）：

12 个月后：准确率达到 96.6%，但排名下降

12 个月后：

36 个月后：准确率 93.2%，AUC 为 66.7%（基本没用）

36 个月后：

XGBoost 实现了令人印象深刻的准确性，但在实际任务中失败了：排序风险。而且它的退化是可以预见的。

令人印象深刻的准确性 会按预期降级

现在将其与我开发的内容进行比较（在 IEEE DSA2025 接受的论文中提出）：

初始 AUC：80.3% 12 个月后：76.4% 36 个月后：69.7% 60 个月后：69.7%

初始 AUC：80.3%

初始 AUC：

12 个月后：76.4%

其中：