虽然物理知识的神经网络(PINN)已成为一个流行的深度学习框架,用于解决由部分差分方程(PDES)控制的前进和反问题(PDES),但众所周知,当采用更大和更深层的神经网络架构时,他们的性能会降低。我们的研究表明,这种反直觉行为的根源在于使用具有不适合初始化方案的多层感知器(MLP)架构,从而导致网络衍生物的培训较差,最终导致PDE残留损失的不稳定最小化。为了解决这个问题,我们引入了物理信息的残留自适应网络(Piratenets),这是一种新型的体系结构,旨在促进对深色Pinn模型的稳定且有效的培训。Piratenets利用了一种新型的自适应残差连接,该连接允许将网络初始化为在训练过程中逐渐加深的浅网络。我们还表明,提出的初始化方案使我们能够在网络体系结构中对与给定PDE系统相对应的适当的归纳偏差进行编码。我们提供了全面的经验证据,表明piratenets更容易优化,并且可以从深度大大提高,最终在各种基准中获得最新的结果。此手稿随附的所有代码和数据将在https://github.com/predictivectiveIntelligencelab/jaxpi/jaxpi/tree/pirate上公开提供。
主要关键词