详细内容或原文请订阅后点击阅览
模型停止聆听时：功能崩溃如何悄悄侵蚀机器学习系统
模型不仅会随着噪音而失败；他们通过将注意力缩小到脆弱性而失败。帖子停止聆听时的帖子：特征崩溃如何悄悄地侵蚀机器学习系统，首先是迈向数据科学的。
来源:走向数据科学A已实施，研究和证明。它的预测是正确的，它的指标是一致的。原木很干净。但是，随着时间的流逝，越来越多的次要抱怨：不适合的边缘案件，适应性突然下降，在这里和那里，长期存在的失败。没有漂移，没有明显的信号降解。该系统稳定，但不再可靠。
问题不是模型能够预测的，而是它已经停止听了什么。
这是特征崩溃的无声威胁，这是模型的输入注意力的系统降低。当模型仅开始使用少量高信号特征并忽略其余的输入空间时，就会发生这种情况。没有警报。仪表板是绿色的。但是，该模型在最需要时更僵化，脆弱，并且对变化的变化更少。
优化陷阱
模型优化速度，而不是深度
特征的崩溃不是由于错误。当优化表现过大时，它会发生。梯度下降夸大了在大型数据集训练模型时产生早期预测优势的任何功能。培训更新由与目标快速相关的输入主导。从长远来看，这使自我强化循环增加了，因为一些功能增加了重量，而其他功能则不足或被遗忘。
这种张力在整个架构中都是经历的。早期的分裂通常是在梯度增强的树中特征的树层次结构。变压器或深网中的主要输入途径抑制了替代解释。最终产品是一个性能良好的系统，直到被要求在其有限的步道之外概括为止。
现实世界模式：通过代理
这不仅是缺乏一种信号。由于模型已经忘记了如何利用其余的输入空间，因此这是无法适应的问题。