详细内容或原文请订阅后点击阅览
inrflow：环境空间中INR的流量匹配
流量匹配模型已成为一种强大的方法，用于在图像或视频（例如3D点云甚至蛋白质结构）等不规则或非结构化数据等域上产生建模。这些模型通常在两个阶段进行训练：首先是训练数据压缩机，在随后的训练阶段，流动匹配生成模型在数据压缩机的潜在空间中进行了训练。这个两阶段的范式设定了跨数据域统一模型的障碍，因为手工制作的压缩机体系结构用于不同的数据模式。为此，我们…
来源:Apple机器学习研究流量匹配模型已成为一种强大的方法，用于在图像或视频（例如3D点云甚至蛋白质结构）等不规则或非结构化数据等域上产生建模。这些模型通常在两个阶段进行训练：首先是训练数据压缩机，在随后的训练阶段，流动匹配生成模型在数据压缩机的潜在空间中进行了训练。这个两阶段的范式设定了跨数据域统一模型的障碍，因为手工制作的压缩机体系结构用于不同的数据模式。为此，我们介绍了Inrflow，这是一种直接在环境空间中学习流匹配变压器的域形方法。从INR中汲取灵感，我们引入了一个有条件独立的点训练目标，使INRFLOF可以在协调空间中连续进行预测。我们的经验结果表明，INRFLOF有效处理不同的数据模式，例如图像，3D点云和蛋白质结构数据，在不同域中实现了强大的性能，并且表现优于可比的方法。 Inrflow是朝着域 - 无形流匹配生成模型迈出的有前途的一步，可以在不同的数据域中琐碎地采用。
- †在Apple
图1：（a）以图像域为例的INRFLOF的高级概述。我们的模型可以解释为编码器模型，其中解码器对给定的ZFT独立对每个坐标值对进行了预测。对于不同的数据域，坐标和值维度会发生变化，但模型保持不变。 （b）在ImageNet 256×256上训练的InRFlow生成的样品。 （c）通过训练对Objaverse上训练inrflow产生的图像到3D点云（Deitke等，2023）。 （d）在瑞士普罗特（Swissprot）训练的INRFlow产生的蛋白质结构（Boeckmann等，2003）。 GT蛋白结构以绿色描绘，而InRFlow产生的结构以橙色显示。
ft