详细内容或原文请订阅后点击阅览
可扩展图神经网络中的转移学习，以改善物理模拟
近年来，基于图形神经网络（GNN）模型在模拟复杂物理系统方面显示出令人鼓舞的结果。但是，培训专用的图形网络模拟器可能会昂贵，因为大多数模型都局限于完全监督的培训。训练模型需要从传统模拟器产生的大量数据。如何应用转移学习来提高模型性能和训练效率。在这项工作中，我们引入了图形网络模拟器的预处理和转移学习范式。首先，我们提出了可扩展的图形u-net…
来源:Apple机器学习研究近年来，基于图形神经网络（GNN）模型在模拟复杂物理系统方面显示出令人鼓舞的结果。但是，培训专用的图形网络模拟器可能会昂贵，因为大多数模型都局限于完全监督的培训。训练模型需要从传统模拟器产生的大量数据。如何应用转移学习来提高模型性能和训练效率。在这项工作中，我们引入了图形网络模拟器的预处理和转移学习范式。首先，我们提出了可扩展的图形u-net（sgunet）。通过合并创新的深度优先搜索（DFS）池，SGUNET可配置为适应性的不同网格尺寸和针对不同仿真任务的分辨率。为了启用不同配置的Sgunet之间的传输学习，我们提出了一组映射功能，以对齐验证的模型和目标模型之间的参数。还添加了一个额外的标准化项，以限制预验证的权重和目标模型权重之间的相似性，以更好地概括性能。然后，我们创建了一个用于预处理模拟器的数据集。它包括20,000个物理模拟，其中3D形状随机从开源的一个大型CAD（ABC）数据集中选择。我们证明，通过提出的转移学习方法，与从头开始训练的训练数据相比，用一小部分培训数据进行了微调的模型可以提高性能。在2D可变形板上，与经过从头开始训练的模型相比，我们对训练数据的1/16进行微调的微调可以提高11.05％。