详细内容或原文请订阅后点击阅览
超越炼金术:初探几何深度学习
几何深度学习是一个“程序”,旨在将深度学习架构和技术置于数学先验框架中。先验(例如各种类型的不变性)首先出现在某些物理域中。与该领域匹配良好的神经网络将保留尽可能多的不变性。在这篇文章中,我们提供了一个非常概念化的高级概述,并重点介绍了一些应用程序。
来源:RStudio AI博客对于从业者来说,深度学习似乎经常包含很多魔法。例如,超参数选择如何影响性能的魔法。更根本的是,架构决策的影响魔法。有时,魔法甚至有效(或无效)。当然,有很多论文试图从数学上证明为什么对于特定的解决方案、在特定的环境中,这种或那种技术会产生更好的结果。但理论和实践却奇怪地脱节了:如果一种技术在实践中确实有用,人们仍然会怀疑这是否实际上是由于所谓的机制。此外,普遍性水平通常很低。
确实如此在这种情况下,人们可能会感激那些旨在阐明、补充或替代部分魔法的方法。通过“补充或替代”,我指的是尝试将特定领域的知识纳入培训过程。几门科学中都存在有趣的例子,我当然希望以后能够在这篇博客上展示其中的一些。至于“阐明”,这种描述是为了引出这篇文章的主题:几何深度学习程序。
几何深度学习几何深度学习:统一的尝试
几何深度学习(下称:GDL)是一群研究人员(包括 Michael Bronstein、Joan Bruna、Taco Cohen 和 Petar Velicković)对他们试图构建一个将深度学习 (DL) 置于坚实数学基础之上的框架的称呼。
不过,在开始之前,让我先提一下这篇文章的主要来源:几何深度学习:网格、组、图形、测地线和量规(Bronstein 等人 (2021))。
几何深度学习:网格、组、图形、测地线和量规 Bronstein 等人 (2021) Bronstein 等人 2021几何先验
先验 几何 域在 GDL 框架中,两个最重要的几何先验是对称性和尺度分离。
对称性
不变 等变3
尺度分离
粗粒化 任务。