我对3D重建和现实视觉系统和模型感到兴奋。我最近的工作是在深度估计和3D重建,3D高斯脱落和NERF上,生成模型,用于增强现实效果的高级技术以及抽象的场景几何估计。工作经验
生成的神经辐射场(NERF)通过学习一组未经未介绍的图像的分布来综合多视图图像,表现出非常熟练的熟练程度。尽管现有的生成nerf具有在数据分布中生成3D一致的高质量随机样本的才能,但创建单数输入图像的3D表示仍然是一个巨大的挑战。在此手稿中,我们介绍了Zignerf,这是一种创新的模型,该模型执行零击生成的对抗网(GAN)倒置,以从单个脱离分布图像中生成多视图。该模型的基础是一个新型逆变器的基础,该逆变器映射到了发电机歧管的潜在代码中。毫无意义,Zignerf能够将对象从背景中解散并执行3D操作,例如360度旋转或深度和水平翻译。使用多个实数数据集对我们的模型的效率进行验证:猫,AFHQ,Celeba,Celeba-HQ和Compcars。
最近具有神经辐射场的3D感知GAN方法发展迅速。然而,当前方法将整个图像建模为整体神经辐射场,这是合成结果的部分语义编辑性。由于NERF通过像素呈现图像像素,因此可以在空间维度中拆分NERF。我们提出了一个用于语义3D感知的孢子合成和操纵的组成神经辐射场(CNERF)。cnerf将图像划分为语义区域,并学习每个区域的独立神经辐射场,并最终将它们融合并呈现完整的图像。因此,我们可以独立地操纵合成的语义区域,同时固定其他部分不变。此外,CNERF还设计为在每个语义区域内的形状和纹理。与最先进的3D感知GAN方法相比,我们的方法是细粒度的语义区域操作,同时是高质量的3D一致合成。消融研究表明了我们方法使用的结构和损失功能的有效性。此外,实际图像反转和卡通肖像3D编辑实验证明了我们方法的潜力。可用源代码:https://github.com/tianxiangma/cnerf
神经辐射场(NERFS)是场景,物体和人类的有希望的3D代表。但是,大多数措施方法都需要多视图输入和每场培训,这限制了其现实生活中的应用。此外,熟练的方法集中在单个受试者的情况下,留下涉及严重障碍和挑战性视图变化的互动手的场景。为了解决这些问题,本文提出了一个可见的可见性 - 可见性的NERF(VA-NERF)框架,用于互动。具体来说,给定相互作用的手作为输入的图像,我们的VA-NERF首先获得了基于网格的手表示,并提取了相应的几何和质地。随后,引入了一个功能融合模块,该模块利用了查询点和网格顶点的可见性,以适应双手的特征,从而可以在看不见的区域的功能中进行重新处理。此外,我们的VA-NERF与广告学习范式中的新型歧视者一起进行了优化。与传统的分离器相反,该官员预测合成图像的单个真实/假标签,提议的判别器生成了一个像素的可见性图,为看不见的区域提供了精细的监督,并鼓励VA-NERF提高合成图像的视觉质量。互惠2.6m数据集的实验表明,我们所提出的vanerf的表现明显优于常规的nerfs。项目页面:https://github.com/xuanhuang0/vanerf。
神经场景表示和渲染(NSR):基于NERF的基本原理,神经场景表示和渲染方法(NSR)方法迈出了进一步的步骤,以完善3D场景的刻画。NSR引入了创新的概念,例如层次表示和神经渲染,从而促进了复杂的场景创建并优化渲染效率。多视神经表面重建:专注于三维空间中对象表面的恢复,多视神经表面重建技术利用了单个对象的多个视图。通过利用神经网络的功能,它了解了图像及其相应的三维表面之间的复杂相互作用。这促进了重建中精度和细节的实现。
摘要。本研究解决了辐射场领域内主动视图选择和不确定性定量的挑战性问题。神经辐射场(NERF)具有极大的高级图像渲染和重建,但是获取图像的成本提出了有效选择最有用的观点的需求。现有方法取决于修改模型体系结构或假设扰动字段间接近似模型不确定性。但是,从间接近似中选择视图并不能保证模型的最佳信息增益。通过利用Fisher信息,我们直接量化了有关辐射场参数的观察信息,并通过最大化预期信息增益(EIG)来选择候选视图。我们的方法在多个任务上实现了最新的结果,包括视图选择,主动映射和不明显的量化,这表明了其推进辐射场领域的潜力。
摘要。三维(3D)重建技术是通过使用计算机来建立和表达客观世界的关键技术,并且在实际的3D,自动驾驶,航空航天,导航和工业机器人应用中广泛使用。根据不同的原则,它主要根据传统的多视图几何形状和基于深度学习的方法分为方法。本文从三维空间表示的角度介绍了上述方法。传统3D重建方法的特征提取和立体声匹配理论是基于深度学习的3D重建方法的理论基础,因此本文专注于它们。随着传统的3D重建方法的发展和与深度学习相关的理论的发展,MVSNET代表的显式深度学习3D重建方法以及由NERF代表的隐式3D重建方法逐渐开发了。同时引入了3D重建的数据集和评估指标。最后,提供了基于图像的3D重建的摘要。
神经辐射场(NERFS)在自动驾驶(AD)社区中广受欢迎。最近的方法显示了NERFS进行闭环模拟的潜力,广告系统的启动测试以及作为先进的培训数据增强技术的潜力。但是,现有的方法通常需要较长的训练时间,密集的语义范围或缺乏普遍性。这反过来妨碍了NERF的应用在大规模上应用于AD。在本文中,我们提出了一种针对动态AD数据量身定制的可靠的新型视图合成方法。我们的方法具有简单的网络设计,凸轮和激光镜头的广泛传感器建模 - 包括滚动快门,梁发散和射线掉落 - 并且适用于开箱即用的多个数据集。我们在五个受欢迎的广告数据集上验证其性能,从而实现最新的性能。为了鼓励进一步开发,我们公开发布了神经源源代码。
1赫尔蒂大脑健康研究所,t'ubingen大学,72076 t ubingen,德国2 t'ubingen ai中心,德国72076 t'ubingen,德国3 Champalimaud中心,Champalimaud基金会,Champalimaud Foundation,Champalimaud Foundation,1400-038,1400 - 038 VIB-Neuroelectronics Research Flanders (NERF), Belgium 6 Department of Computer Science, KU Leuven, 3001, Leuven, Belgium 7 Department of Electrical Engineering, KU Leuven, 3001, Leuven, Belgium 8 Sorbonne Universit´e, INSERM, CNRS, Institut de la Vision, 75012 Paris, France 9 Baylor College of Medicine, Houston,美国德克萨斯州德克萨斯州77030,美国10眼科部,拜尔斯眼科研究所,斯坦福大学,斯坦福大学,加利福尼亚州94303,加利福尼亚州,美国11号,美国11经验推断,Max Planck Intelligent Systems,72076 T ubingen,德国,德国72076 t'ubingen +通信
摘要 - 我们提出了一个基于神经场的大规模重构系统,该系统融合了激光雷达和视力数据,以生成几何准确的高质量重建,并捕获光真逼真的纹理。该系统适应了状态的神经辐射场(NERF)表示,还结合了LiDAR数据,该数据在深度和表面正常上增加了强大的几何约束。我们利用轨迹从实时激光雷达大满贯系统来引导结构 - 从运动(SFM)程序进行启动,以显着降低组合时间,并提供对大暴力深度损失至关重要的度量标准。我们使用沉积将系统扩展到在长轨迹上捕获的大规模环境。我们通过来自多台摄像机,LIDAR传感器套件的腿部机器人的数据,在扫描600米的扫描建筑场景时进行手持式机器人,并在船上进行空中机器人,调查多层模拟模拟灾难现场建造的空中机器人。网站:https://ori.ox.ac.uk/labs/drs/nerf-mapping/