神经辐射场(NERFS)是场景,物体和人类的有希望的3D代表。但是,大多数措施方法都需要多视图输入和每场培训,这限制了其现实生活中的应用。此外,熟练的方法集中在单个受试者的情况下,留下涉及严重障碍和挑战性视图变化的互动手的场景。为了解决这些问题,本文提出了一个可见的可见性 - 可见性的NERF(VA-NERF)框架,用于互动。具体来说,给定相互作用的手作为输入的图像,我们的VA-NERF首先获得了基于网格的手表示,并提取了相应的几何和质地。随后,引入了一个功能融合模块,该模块利用了查询点和网格顶点的可见性,以适应双手的特征,从而可以在看不见的区域的功能中进行重新处理。此外,我们的VA-NERF与广告学习范式中的新型歧视者一起进行了优化。与传统的分离器相反,该官员预测合成图像的单个真实/假标签,提议的判别器生成了一个像素的可见性图,为看不见的区域提供了精细的监督,并鼓励VA-NERF提高合成图像的视觉质量。互惠2.6m数据集的实验表明,我们所提出的vanerf的表现明显优于常规的nerfs。项目页面:https://github.com/xuanhuang0/vanerf。
主要关键词