神经符号欺诈检测:在 F1 下降之前捕捉概念漂移(无标签)

本文询问接下来会发生什么。该模型将其欺诈知识编码为符号规则。 V14 低于阈值意味着欺诈。当这种关系开始改变时会发生什么?规则可以起到金丝雀的作用吗?换句话说:神经符号概念漂移监控能否在没有标签的情况下在推理时工作?混合神经符号欺诈检测的完整架构背景:用域规则引导神经网络以及神经网络如何学习自己的欺诈规则:神经符号人工智能实验。您将在没有它们的情况下阅读本文,但机制部分在上下文中更有意义。神经符号欺诈检测:在 F1 下降之前捕获概念漂移(无标签)首先出现在走向数据科学上。

来源:走向数据科学

,每个指标看起来都很完美。

RWSS = 1.000。输出概率不变。没有移动标签。

一切都说“一切都清楚了”。

然后警报还是被触发了。

窗口 3:严重性=警告 RWSS=1.000 已触发=True ← FIDI Z 在此处触发

模型的预测还不知道有什么问题。

但符号层做到了。

这就是实验中实际发生的情况 - 以及为什么它对于在生产中运行欺诈模型的任何人都很重要。

完整代码:https://github.com/Emmimal/neuro-symbolic-drift-detection

TL;DR:您将从本文中获得什么

  • FIDI Z-Score 检测 5 个种子中的 5 个种子中的概念漂移,有时在 F1 下降之前,需要零标签
  • 仅 RWSS 就错过了 5 颗种子中的 3 颗。 FIDI 的 Z 分数扩展使其发挥作用
  • 协变量漂移是一个完全的盲点。它需要一个单独的原始功能监视器
  • 警报系统大约有 50 行代码,以及计划重新训练和紧急情况之间的区别
  • 不熟悉该系列?混合神经符号欺诈检测:用域规则指导神经网络涵盖了架构。神经网络如何学习自己的欺诈规则:神经符号人工智能实验解释了模型如何发现自己的规则。这是漂移检测章节。

    到目前为止的故事

    这是该系列的第 3 部分。新来的?您只需要一段即可。

    HybridRuleLearner 训练两条并行路径:用于检测的 MLP 和从相同数据学习符号 IF-THEN 条件的规则路径。规则路径在两个种子中自行找到了 V14,而没有被告知要寻找它。学到的规则(IF V14 < −1.5σ → 欺诈)现在是受监控的对象。本文询问当 V14 开始表现不同时会发生什么。

    规则可以起到金丝雀的作用吗?神经符号概念漂移监测可以在没有标签的情况下在推理时发挥作用吗?

    改变欺诈的三种方式

    协变量漂移。输入特征分布发生变化。 V14、V4 和 V12 逐渐移动最多 +3.0σ。欺诈模式保持不变。世界看起来有点不同。

    概念漂移

    之前的漂移