神经网络的非微扰重正化-...
机构名称:
¥ 6.0

在最近的一项工作 [ 1 ] 中,Halverson、Maiti 和 Stoner 提出了一种用威尔逊有效场论来描述神经网络的方法。无限宽度极限被映射到自由场论,而有限 N 个校正则由相互作用(作用中的非高斯项)考虑。在本文中,我们研究了这种对应的两个相关方面。首先,我们在这种情况下评论了局部性和幂计数的概念。事实上,这些通常的时空概念可能不适用于神经网络(因为输入可以是任意的),然而,重正化群提供了局部性和缩放的自然概念。此外,我们还评论了几个微妙之处,例如数据分量可能不具有置换对称性:在这种情况下,我们认为随机张量场论可以提供自然的概括。其次,我们通过使用 Wetterich-Morris 方程提供非微扰重正化群的分析,改进了 [1] 中的微扰威尔逊重正化。与通常的非微扰 RG 分析的一个重要区别是,只知道有效 (IR) 2 点函数,这需要谨慎设定问题。我们的目标是提供一种有用的形式化方法,以非微扰方式研究超越大宽度极限(即远离高斯极限)的神经网络行为。我们分析的一个主要结果是,改变神经网络权重分布的标准差可以解释为网络空间中的重正化流。我们专注于平移不变核并提供初步的数值结果。

神经网络的非微扰重正化-...

神经网络的非微扰重正化-...PDF文件第1页

神经网络的非微扰重正化-...PDF文件第2页

神经网络的非微扰重正化-...PDF文件第3页

神经网络的非微扰重正化-...PDF文件第4页

神经网络的非微扰重正化-...PDF文件第5页