机构名称：
¥ 1.0
和一个锅的不同）或意图（例如通过刀与使用它进行切割），我们人类可以毫不费力地描绘出与日常生活中日常物体的这种互动。在这项工作中，我们的目标是构建一个可以同样生成合理的手动配置的计算系统。具体来说，我们学习了一个基于扩散的常规模型，该模型捕获了3D相互作用期间手和对象的关节分布。给定一个类别的描述，例如“握着板的手”，我们的生成模型可以合成人手的相对配置和表达（见图1个顶部）。我们解决的一个关键问题是，该模型是什么好的HOI表示。通常通过空间（签名）距离场来描述对象形状，但人的手通常是通过由发音变量控制的参数网格建模的。我们提出了一个均匀的HOI表示，而不是在生成模型中对这些不同的代表进行建模，并表明这允许学习一个共同生成手和对象的3D扩散模型。除了能够合成各种合理的手和物体形状的综合外，我们的扩散模型还可以在跨任务的辅助推理之前作为通用，而这种表示是所需的输出。例如，重建或预测相互作用的问题对于旨在向人类学习的机器人或试图帮助他们的虚拟助手来说是核心重要性。重建的视频重新投影错误）或约束（例如我们考虑了这些行沿着这些行的两个经过深入研究的任务：i）从日常交互剪辑中重建3D手对象形状，ii）鉴于任意对象网格，合成了合理的人类grasps。为了利用学到的生成模型作为推论的先验，我们注意到我们的扩散模型允许在任何手动对象配置给定的（近似）log-likelihood梯度计算（近似）log-likelihoodhoodhood。我们将其纳入优化框架中，该框架结合了先前的基于可能性的指南与特定于任务的目标（例如已知对象网格的合成）推理。虽然理解手动相互作用是一个非常流行的研究领域，但现实世界中的数据集限制了3D中这种相互作用的限制仍然很少。因此，我们汇总了7种不同的现实世界交互数据集，从而导致157个对象类别的相互作用长期收集，并在这些范围内训练共享模型。据我们所知，我们的工作代表了第一个可以共同生成手和对象的生成模型，并且我们表明它允许综合跨类别的各种手动相互作用。此外，我们还经验评估了基于视频的重建和人类掌握合成的任务的先前指导的推断，并发现我们所学的先验可以帮助完成这两个任务，甚至可以改善特定于特定于任务的状态方法。
g-hop：相互作用重建的生成性手动对象和掌握合成
主要关键词
相关文件推荐
