我们提出了来自单眼RGB视频的动态3D头部重建的单眼神经参数头模型(Mono NPHM)。到此为止,我们提出了一个潜在的空间空间,该空间在神经参数模型的顶部参数化纹理场。我们限制了预测的颜色阀与基础几何形状相关,以便RGB的梯度有效地影响反向渲染过程中的潜在几何代码。为了提高表达空间的代表能力,我们使用超二维增强了向后变形场,从而在拓扑具有挑战性的表达式中显示出颜色和几何表示。使用Mono NPHM作为先验,我们使用基于符号距离字段的体积渲染来处理3D头重建的任务。通过nu毫无反转,我们使用面部锚点构成了具有里程碑意义的损失,这些损失与我们的规范几何表示紧密相关。为了评估单眼RGB视频的动态面部重建任务,我们在休闲条件下记录了20个具有挑战性的Kinect序列。单nphm超过 -
相1算法仅使用η-φ信息进行超集群。使用HGCAL的成像功能开发了一个新的深神经网络。推理使用位置和角变量成对运行。超级集体是迭代建造的,在得分上设置了阈值。
从单个视图中恢复3D场景几何形状是计算机视觉中的基本问题。虽然经典的深度估计方法仅推断出2.5D场景表示为图像平面,但最新的基于辐射范围的aperach是重建完整的3D代表。然而,这些方法仍然在被占地的区域困难,因为没有视觉观察的几何形状需要(i)周围的语义知识,以及(ii)关于空间上下文的推理。我们提出了Kyn,这是一种单视场景重建的新方法,其原因是语义和空间上下文来预测每个点的密度。我们引入了一个视觉模块模块,以使用细粒度的语义信息丰富点特征。我们通过语言引导的空间注意机制在整个场景中汇总了点表示,以产生意识到3D语义环境的每点密度预测。我们表明,与预测每个3D点的密度相比,Kyn改善了3D形状的恢复。我们在Kitti-360上实现了最新的场景和对象重建结果,并且与先前的工作相比,零弹性概括的改进。项目页面:https://ruili3.github.io/kyn。
与从 LiDAR 数据和多视图影像重建相比,倾斜影像重建是大规模城市建模的重要研究问题和经济解决方案。然而,建筑物足迹和立面的部分不可见性、严重的阴影效应以及大范围区域内建筑物高度的极端变化等若干挑战将现有的基于单目影像的建筑物重建研究限制在某些应用场景中,即从近地面影像建模简单的低层建筑物。在本研究中,我们提出了一种新颖的单目遥感影像 3D 建筑物重建方法,解决了上述困难,从而为更复杂的场景提供了一种有吸引力的解决方案。我们设计了一个多任务建筑物重建网络 MTBR-Net,通过四个语义相关任务和三个偏移相关任务来学习倾斜影像的几何属性、3D 建筑物模型的关键组件及其关系。网络输出通过基于先验知识的 3D 模型优化方法进一步集成,以生成最终的 3D 建筑模型。在公共 3D 重建数据集和新发布的数据集上的结果表明,与目前最先进的方法相比,我们的方法将高度估计性能提高了 40% 以上,将分割 F1 分数提高了 2% - 4%。
从 3D 显微镜图像重建数字神经元是研究大脑连接组学和神经元形态的重要技术。现有的重建框架使用基于卷积的分割网络在应用追踪算法之前将神经元从噪声背景中分割出来。追踪结果对原始图像质量和分割精度很敏感。在本文中,我们提出了一种新的 3D 神经元重建框架。我们的关键思想是利用点云的几何表示能力来更好地探索神经元的内在结构信息。我们提出的框架采用一个图卷积网络来预测神经骨架点,采用另一个图卷积网络来产生这些点的连通性。我们最终通过解释预测的点坐标、半径和连接来生成目标 SWC 文件。在 BigNeuron 项目的 Janelia-Fly 数据集上进行评估,我们表明我们的框架实现了具有竞争力的神经元重建性能。我们对点云的几何和拓扑学习可以进一步有益于 3D 医学图像分析,例如心脏表面重建。我们的代码可在 https://github.com/RunkaiZhao/PointNeuron 上找到。
我们提出了一种新颖的神经可变形模型 (NDM),旨在从二维稀疏心脏磁共振 (CMR) 成像数据中重建和建模心脏的三维双心室形状。我们使用混合可变形超二次曲面对双心室形状进行建模,该超二次曲面由一组几何参数函数参数化,能够进行全局和局部变形。虽然全局几何参数函数和变形可以从视觉数据中捕捉到总体形状特征,但可以学习局部变形(参数化为神经微分同胚点流)来恢复详细的心脏形状。与传统可变形模型公式中使用的迭代优化方法不同,可以训练 NDM 来学习此类几何参数函数、来自形状分布流形的全局和局部变形。我们的 NDM 可以学习以任意尺度加密稀疏心脏点云并自动生成高质量的三角网格。它还可以隐式学习不同心脏形状实例之间的密集对应关系,以实现准确的心脏形状配准。此外,NDM 的参数直观,医生无需复杂的后处理即可使用。大型 CMR 数据集上的实验结果表明,NDM 的性能优于传统方法。
从时间分辨的医学图像中精确重建右心几何形状和运动可增强基于图像可视化的诊断工具以及通过计算方法进行的心脏血液动力学分析。由于右心形态和运动的特殊性,常用的分割和/或重建技术仅采用短轴电影 MRI,在右心相关区域(如心室底部和流出道)缺乏准确性。此外,重建过程非常耗时,并且在生成计算域的情况下需要大量的人工干预。本文提出了一种从时间分辨 MRI 中精确高效地重建右心几何形状和运动的新方法。具体而言,所提出的方法利用表面变形来合并来自多系列电影 MRI(如短/长轴和 2/3/4 腔采集)的信息并重建重要的心脏特征。它还通过利用合适的图像配准技术自动提供完整的心脏收缩和放松运动。该方法既适用于健康病例,也适用于病理(法洛四联症)病例,并且比标准程序产生更准确的结果。所提出的方法还用于为计算流体动力学提供重要输入。相应的数值结果证明了我们的方法在计算临床相关血液动力学量方面的可靠性。© 2023 Elsevier BV 保留所有权利。
评估心肌的形状和运动状态对于诊断心血管疾病至关重要。然而,电影磁共振 (CMR) 成像以 2D 切片为主,其大切片间距对切片间形状重建和运动获取提出了挑战。为了解决这个问题,我们提出了一种将运动和形状分离的 4D 重建方法,该方法可以从有限切片获得的给定稀疏点云序列预测间/内形状和运动估计。我们的框架包括一个神经运动模型和一个舒张末期 (ED) 形状模型。隐式 ED 形状模型可以学习连续边界并鼓励运动模型在没有地面真实变形监督的情况下进行预测,并且运动模型通过将任意点从任意阶段变形到 ED 阶段来实现形状模型的规范输入。此外,构建的 ED 空间可以对形状模型进行预训练,从而指导运动模型并解决数据稀缺问题。我们提出了我们所知的第一个 4D 心肌数据集,并在提出的、公开的和跨模态的数据集上验证了我们的方法,显示出卓越的重建性能并实现了各种临床应用。
