我发现的关于神经网络不合理的有效性

可能只是我对我所知道的和不知道的情况非常不寻常,但是我发现Welch Labs的这三个视频对Unrea

来源:Brad DeLong
可能只是我对我所知道的和不知道的东西处于非常不寻常的位置,但是我发现Welch Labs的这三个视频在神经网络模型的不合理有效性方面令人难以置信的启发……

共享

折叠空间:反向传播和恢复实际上可以学会适合世界各地。直觉实际上是可能的!从几何学上讲,神经网不是通过魔术来起作用,而是通过将平面折叠成形状的形状,并以巨大的规模,尺寸较高。无数此形状的添加使简单的弯曲组成了复杂的功能,而后传播则发现此类功能比其任何权利更快。

但是我们的几何直觉是有限的。我们低维的大脑误解了模型可能会在损失功能的最低限度的情况下“卡住”的危险,并且不知道哪种方式可以取得更好的结果。在大量维度中,当您拥有数十万个或更多参数以调整出现的参数时,低维可视化器作为“虫洞”。随着梯度下降的进行,您看到的切片的适当移动揭示了附近,模型可以移动的损耗功能的更好的山谷。

您的里程可能会而且可能会有所不同。但是这些视觉直觉为我点击。而且,我至少可以相信,即使看不到,当我们的向量空间从三个维数转移到百万个维度时,事物的变化是如何变化的,其中几乎所有随机选择的矢量都非常接近彼此之间的直角。

分享布拉德·德隆(Brad DeLong)的掌握现实

来自Welch Labs:。其中第一个(第三个制作)“模型学习方式”是我发现最有启发性的一个视频。

来自Welch Labs: https://www.youtube.com/@welchlabsvideo/videos >。其中第一个(第三个制作)“模型学习方式”是我发现最有启发性的一个视频。 我了解其主要观点: < > ex ante https://www.youtube.com/@welchlabsvideo/videos

>。其中第一个(第三个制作)“模型学习方式”是我发现最有启发性的一个视频。

我了解其主要观点: < >ex ante