XiaoMi-AI文件搜索系统
World File Search System重正化
信息论中的最佳重正化群变换
最近，引入了一种新颖的实空间重正化群 (RG) 算法。通过最大化信息论量，即实空间互信息，该算法可确定相关的低能自由度。受此启发，我们研究了平移不变系统和无序系统的粗粒化程序的信息论性质。我们证明，完美的实空间互信息粗粒化不会增加重正化汉密尔顿量中的相互作用范围，并且对于无序系统，它会抑制重正化无序分布中相关性的产生，从这个意义上讲是最优的。我们通过对干净随机的伊辛链进行任意粗粒化，通过经验验证了这些复杂性度量作为 RG 保留信息的函数的衰减。结果建立了 RG 作为压缩方案的性质与物理对象（即汉密尔顿量和无序分布）性质之间的直接且可量化的联系。我们还研究了约束对通用 RG 程序中粗粒度自由度的数量和类型的影响。
神经网络的非微扰重正化-...
在最近的一项工作 [ 1 ] 中，Halverson、Maiti 和 Stoner 提出了一种用威尔逊有效场论来描述神经网络的方法。无限宽度极限被映射到自由场论，而有限 N 个校正则由相互作用（作用中的非高斯项）考虑。在本文中，我们研究了这种对应的两个相关方面。首先，我们在这种情况下评论了局部性和幂计数的概念。事实上，这些通常的时空概念可能不适用于神经网络（因为输入可以是任意的），然而，重正化群提供了局部性和缩放的自然概念。此外，我们还评论了几个微妙之处，例如数据分量可能不具有置换对称性：在这种情况下，我们认为随机张量场论可以提供自然的概括。其次，我们通过使用 Wetterich-Morris 方程提供非微扰重正化群的分析，改进了 [1] 中的微扰威尔逊重正化。与通常的非微扰 RG 分析的一个重要区别是，只知道有效 (IR) 2 点函数，这需要谨慎设定问题。我们的目标是提供一种有用的形式化方法，以非微扰方式研究超越大宽度极限（即远离高斯极限）的神经网络行为。我们分析的一个主要结果是，改变神经网络权重分布的标准差可以解释为网络空间中的重正化流。我们专注于平移不变核并提供初步的数值结果。