从使用卷积网络的传统行为克隆[1]到基于变压器的学习结构[2],广泛的研究已经对视觉场景的机器人动作轨迹进行了建模。最新的作品基于扩散模型[3]的成功,以生成运动轨迹以捕获多模式动作分布。流匹配是另一种新颖的生成方法。与随机的扩散概率模型共享理论相似性,流匹配旨在回归确定性矢量场,以将样品流向目标分布。证明,与解决扩散模型中的复杂随机微分方程相比,流动匹配目标的简单性可以在稳定的训练和发电质量中表现出色。尽管在图像生成方面取得了最新进展[4],但在机器人域中的流量匹配的应用仍未得到充满反感[5,6,7]。我们提出了流程匹配策略,以从原始视觉输入中学习模拟和现实世界的机器人行为并进行系统评估。
主要关键词