用于噪声时间序列预测的 FNN-VAE

这篇文章的结局并不像我想象的那样。这是对最近使用 FNN-LSTM 进行时间序列预测的快速跟进，它旨在展示嘈杂的时间序列（在实践中很常见）如何从架构变化中获益：不要使用 FNN-LSTM（一种由假最近邻 (FNN) 损失正则化的 LSTM 自动编码器），而要使用 FNN-VAE（一种受相同约束的变分自动编码器）。然而，FNN-VAE 似乎并没有比 FNN-LSTM 更好地处理噪音。那么，没有情节，就没有帖子？

使用 FNN-LSTM 进行时间序列预测 嘈杂

另一方面 - 这不是一项科学研究，假设和实验设置都是预先注册的；真正重要的是是否有一些有用的报告。看起来确实有。

首先，FNN-VAE 在性能方面与 FNN-LSTM 不相上下，但在“性能”的另一个含义上却更胜一筹：FNN-VAE 的训练速度要快得多。

很多

其次，虽然我们没有看到 FNN-LSTM 和 FNN-VAE 之间有太大区别，但我们确实看到了使用 FNN 损失的明显影响。添加 FNN 损失可以大大降低相对于底层（去噪）序列的均方误差 - 尤其是在 VAE 的情况下，但对于 LSTM 也是如此。这对于 VAE 尤其有趣，因为它带有一个开箱即用的正则化器 - 即 Kullback-Leibler (KL) 散度。

做

当然，我们并不声称在其他嘈杂的序列上总能获得类似的结果；我们也没有将任何模型“调到极致”。这篇文章的目的除了向读者展示有趣（且有前途）的想法，让他们在自己的实验中去追求之外，还能是什么呢？

背景

这篇文章是迷你系列的第三篇。

在《深度吸引子：深度学习与混沌相遇的地方》中，我们绕了一大圈，深入探讨了混沌理论，解释了在（Gilpin 2020）中引入的 FNN 损失的概念。请参阅第一篇文章，了解该技术背后的理论背景和直觉。

深度吸引子：深度学习与混沌相遇的地方 (Gilpin 2020) Gilpin 2020 使用 FNN-LSTM 进行时间序列预测

FNN-VAE

(