通过脑机接口,重建所看到的人脑活动图像连接了人机视觉和计算机视觉。由于个体之间大脑功能存在固有差异,现有文献主要集中于使用每个人各自的脑信号数据为每个人获取单独的模型,而忽略了这些数据之间的共性。在本文中,我们设计了心理测量学,这是一个全方位模型,用于重建从不同受试者获得的功能性磁共振成像 (fMRI) 图像。心理测量学包含一个全方位专家混合 (Omni MoE) 模块,其中所有专家共同努力捕捉受试者间的共性,而与特定受试者参数相关的每个专家则负责处理个体差异。此外,心理测量学还配备了一种检索增强推理策略,称为 Ecphory,旨在通过检索预先存储的特定受试者记忆来增强学习到的 fMRI 表征。这些设计共同使心理测量变得万能而高效,使其能够捕捉受试者之间的共性和个体差异。因此,增强的 fMRI 表征可作为条件信号来指导生成模型重建高质量逼真的图像,从而使心理测量在高级和低级指标方面都成为最先进的技术。
背景:使用文本报告向父母和对赔偿权提出异议的法律专业人士传达患有长期缺氧缺血性损伤 (HII) 的儿童的双侧、对称性和区域性皮质脑萎缩可能很困难。使用标准的横截面图像向外行人解释双侧、区域性脑成像也具有挑战性。大脑表面的单一平面图像,就像从地球仪中得出地球地图一样,可以通过磁共振成像 (MRI) 扫描的曲面重建生成,即墨卡托地图。外行人在未经事先培训的情况下识别异常“墨卡托脑图”的能力需要在非医疗环境中使用前进行评估。目的:确定外行人在未经事先培训的情况下检测异常儿童墨卡托平面脑图的灵敏度和特异性。方法和材料:向 111 名参与者分别提供 10 张墨卡托脑图。这些地图包括 5 个 HII、1 个皮质发育不良和 4 个正常病例。参与者需要识别异常扫描。计算了总体和参与者亚组的敏感性和特异性。结果:总体敏感性和特异性分别为 67% 和 80%。普通放射科医生(n = 12)的敏感性和特异性分别为 91.2% 和 94.6%。外行人(n = 54)的敏感性为 67%,特异性为 80%。结论:放射科医生的高特异性和敏感性验证了该技术在区分皮质病理异常扫描方面的有效性。外行人使用墨卡托地图识别异常大脑的高特异性表明,这是一种向外行人展示儿童 HII 皮质 MRI 异常的可行沟通工具。
许多基于机器学习的轴突追踪方法依赖于带有分割标签的图像数据集。这需要领域专家的手动注释,这需要大量劳动力,并且不适用于以细胞或亚细胞分辨率对半球或整个脑组织进行大规模脑映射。此外,保留轴突结构拓扑对于理解神经连接和大脑功能至关重要。自监督学习 (SSL) 是一种机器学习框架,允许模型在未注释的数据上学习辅助任务,以帮助完成监督目标任务。在这项工作中,我们提出了一种新颖的 SSL 辅助任务,即为面向拓扑的轴突分割和中心线检测的目标任务重建边缘检测器。我们使用小鼠大脑数据集对三个不同的 SSL 任务进行了 3D U-Nets 预训练:我们提出的任务、预测排列切片的顺序和玩魔方。然后,我们在不同的小鼠大脑数据集上评估了这些 U-Nets 和基线模型。在所有实验中,针对我们提出的任务进行预训练的 U-Net 分别将基线的分割、拓扑保留和中心线检测提高了 5.03%、4.65% 和 5.41%。相比之下,切片排列和魔方预训练的 U-Net 并没有比基线有持续的改进。
摘要。过去气候的定量重建是19评估气候模型如何重现气候变化的重要资源。一种广泛使用的统计20方法,用于从化石生物组合进行此类重建的方法加权21平均部分最小二乘回归(WA-PLS)。然而,已知的22个WA-PLS产生重建的趋势是压缩到用于校准的气候范围的中心的重建,可能会偏向重建的过去气候。我们通过假设:(a)相对于所考虑的气候变量,每个分类单元的理论丰度为25个单峰; (b)观察到的分类单元丰度26遵循多项式分布,其中样品的总丰度在气候上是27个不明智的; (c)在给定站点和时间的气候价值的估计使得28个观察结果最有可能,即它最大化对数可能性函数。此气候29估计值是通过将其气候公差的30反平方平方的加权分类单元丰度近似。我们通过考虑训练数据集中气候变量的频率31(FX)进一步改善方法。与WA-PLS相比,具有FX校正的TWA-PLS大大减少了压缩偏置,并基于广泛的现代花粉数据集改善了33个重建的模型性能。34
评估心肌的形状和运动状态对于诊断心血管疾病至关重要。然而,电影磁共振 (CMR) 成像以 2D 切片为主,其大切片间距对切片间形状重建和运动获取提出了挑战。为了解决这个问题,我们提出了一种将运动和形状分离的 4D 重建方法,该方法可以从有限切片获得的给定稀疏点云序列预测间/内形状和运动估计。我们的框架包括一个神经运动模型和一个舒张末期 (ED) 形状模型。隐式 ED 形状模型可以学习连续边界并鼓励运动模型在没有地面真实变形监督的情况下进行预测,并且运动模型通过将任意点从任意阶段变形到 ED 阶段来实现形状模型的规范输入。此外,构建的 ED 空间可以对形状模型进行预训练,从而指导运动模型并解决数据稀缺问题。我们提出了我们所知的第一个 4D 心肌数据集,并在提出的、公开的和跨模态的数据集上验证了我们的方法,显示出卓越的重建性能并实现了各种临床应用。
从时间分辨的医学图像中精确重建右心几何形状和运动可增强基于图像可视化的诊断工具以及通过计算方法进行的心脏血液动力学分析。由于右心形态和运动的特殊性,常用的分割和/或重建技术仅采用短轴电影 MRI,在右心相关区域(如心室底部和流出道)缺乏准确性。此外,重建过程非常耗时,并且在生成计算域的情况下需要大量的人工干预。本文提出了一种从时间分辨 MRI 中精确高效地重建右心几何形状和运动的新方法。具体而言,所提出的方法利用表面变形来合并来自多系列电影 MRI(如短/长轴和 2/3/4 腔采集)的信息并重建重要的心脏特征。它还通过利用合适的图像配准技术自动提供完整的心脏收缩和放松运动。该方法既适用于健康病例,也适用于病理(法洛四联症)病例,并且比标准程序产生更准确的结果。所提出的方法还用于为计算流体动力学提供重要输入。相应的数值结果证明了我们的方法在计算临床相关血液动力学量方面的可靠性。© 2023 Elsevier BV 保留所有权利。
与从 LiDAR 数据和多视图影像重建相比,倾斜影像重建是大规模城市建模的重要研究问题和经济解决方案。然而,建筑物足迹和立面的部分不可见性、严重的阴影效应以及大范围区域内建筑物高度的极端变化等若干挑战将现有的基于单目影像的建筑物重建研究限制在某些应用场景中,即从近地面影像建模简单的低层建筑物。在本研究中,我们提出了一种新颖的单目遥感影像 3D 建筑物重建方法,解决了上述困难,从而为更复杂的场景提供了一种有吸引力的解决方案。我们设计了一个多任务建筑物重建网络 MTBR-Net,通过四个语义相关任务和三个偏移相关任务来学习倾斜影像的几何属性、3D 建筑物模型的关键组件及其关系。网络输出通过基于先验知识的 3D 模型优化方法进一步集成,以生成最终的 3D 建筑模型。在公共 3D 重建数据集和新发布的数据集上的结果表明,与目前最先进的方法相比,我们的方法将高度估计性能提高了 40% 以上,将分割 F1 分数提高了 2% - 4%。
从 3D 显微镜图像重建数字神经元是研究大脑连接组学和神经元形态的重要技术。现有的重建框架使用基于卷积的分割网络在应用追踪算法之前将神经元从噪声背景中分割出来。追踪结果对原始图像质量和分割精度很敏感。在本文中,我们提出了一种新的 3D 神经元重建框架。我们的关键思想是利用点云的几何表示能力来更好地探索神经元的内在结构信息。我们提出的框架采用一个图卷积网络来预测神经骨架点,采用另一个图卷积网络来产生这些点的连通性。我们最终通过解释预测的点坐标、半径和连接来生成目标 SWC 文件。在 BigNeuron 项目的 Janelia-Fly 数据集上进行评估,我们表明我们的框架实现了具有竞争力的神经元重建性能。我们对点云的几何和拓扑学习可以进一步有益于 3D 医学图像分析,例如心脏表面重建。我们的代码可在 https://github.com/RunkaiZhao/PointNeuron 上找到。
我们提出了来自单眼RGB视频的动态3D头部重建的单眼神经参数头模型(Mono NPHM)。到此为止,我们提出了一个潜在的空间空间,该空间在神经参数模型的顶部参数化纹理场。我们限制了预测的颜色阀与基础几何形状相关,以便RGB的梯度有效地影响反向渲染过程中的潜在几何代码。为了提高表达空间的代表能力,我们使用超二维增强了向后变形场,从而在拓扑具有挑战性的表达式中显示出颜色和几何表示。使用Mono NPHM作为先验,我们使用基于符号距离字段的体积渲染来处理3D头重建的任务。通过nu毫无反转,我们使用面部锚点构成了具有里程碑意义的损失,这些损失与我们的规范几何表示紧密相关。为了评估单眼RGB视频的动态面部重建任务,我们在休闲条件下记录了20个具有挑战性的Kinect序列。单nphm超过 -
