XiaoMi-AI文件搜索系统
World File Search System图像空间
渲染和扩散：基于扩散的行为克隆
摘要 - 在机器人学习的领域，高维观测值（例如RGB图像和低级机器人动作）之间的复杂映射，两个本质上非常不同的空间构成了一个复杂的学习问题，尤其是在有限的数据中。在这项工作中，我们介绍了一种使用机器人3D模型的虚拟渲染器在图像空间内统一的低级机器人动作和RGB观察的方法。使用此联合观察表达表示，它使用学习的扩散过程计算低级机器人动作，该过程迭代地更新机器人的虚拟渲染。此空间统一简化了学习问题，并引入了对样品效率和空间概括至关重要的电感偏差。我们在模拟中彻底评估了研发的几种变体，并展示了它们在现实世界中六个日常任务上的适用性。我们的结果表明，研发具有强大的空间概括能力，并且比更常见的图像到动作方法更有效。
![arxiv：2401.06415v3 [cs.cv] 2024年4月2日](/simg/g:\will\search\icon\source\0\09aec2408111749d987c6de320aa4a63fee9f430.webp)
arxiv：2401.06415v3 [cs.cv] 2024年4月2日
本文介绍了一条新颖的管道，以从单个图像中重建在全球连贯的场景空间上的服装中相互作用的多人相互作用的几何形状。主要挑战是由遮挡引起的：由于他人或自我的遮挡，从单一角度看不到人体的一部分，这引入了缺失的几何形状和身体上的不可能（例如，穿透性）。我们通过利用两个人的先验来克服这一挑战，用于完整的3D几何和表面接触。对于几何形状，编码器学会了回归潜在向量的人体缺失的人的形象；解码器解码这些向量以产生相关几何形状的3D特征。隐式网络将这些功能与表面正常地图结合在一起，以重建完整而详细的3D人类。对于先验接触，我们开发了一个图像空间触点检测器，该检测器输出3D人员之间表面接触的概率分布。我们使用这些先验在全球范围内提炼身体的姿势，使得无穿透性和准确的重建
郁金香：用于提高LIDAR点云的变压器
LIDAR UPSMPLING对于机器人和自动驾驶汽车的启示系统来说是一项艰巨的任务，这是由于大型场景的稀疏结构稀疏和不规则的结构。最近的作品建议通过将LIDAR数据从3D欧几里得空间传播到2D图像空间中的一个超级分辨率问题来解决此问题。尽管他们的方法可以生成具有细粒细节的高分辨率范围图像，但由此产生的3D点云是10个模糊细节并预测无效的点。在此pa-per中，我们提出了郁金香，这是一种从低分辨率激光雷达输入中重建高分辨率激光圈云的新方法。我们还遵循一种基于图像的方法，但特定地修改了基于Swin-Transformer网络的贴片和窗口几何形状，以更好地拟合范围图像的特性。我们在三个公共现实世界和模拟数据集上进行了几项实验。郁金香在所有相关指标中都优于最先进的方法，并且比以前的工作生成了强大，更现实的点云。该代码可在https：//github.com/ethz-asl/tulip.git上找到。
使用个性化记忆对阿尔茨海默病进行纵向脑 MR 图像建模
摘要 对疾病进行纵向分析是了解其进展、设计预后和早期诊断工具的重要问题。从多个时间点收集数据的纵向图像中，可以捕获空间结构信息和纵向变化。时间动态比对症状的静态观察更具信息量，特别是对于阿尔茨海默病等神经退行性疾病，其进展跨越数年，早期变化微妙。在本文中，我们提出了一个新的生成框架来预测病变随时间的进展。我们的方法首先将图像编码为结构和纵向状态向量，其中可以执行时间轴上特征向量的插值或外推以操纵这些特征向量。这些处理后的特征向量可以解码到图像空间中，以预测我们感兴趣的时间点的图像。在训练期间，我们强制模型将纵向变化编码为纵向状态特征，并在单独的向量中捕获结构信息。此外，我们引入了个性化记忆的在线更新方案，使模型适应目标对象，从而帮助模型保留每个对象的大脑图像结构的细节。在公共纵向脑磁共振成像数据集上的实验结果证明了所提方法的有效性。
通过确定性自动编码器统一大脑年龄预测和年龄条件模板的生成
与年龄相关的形态学大脑变化在健康和疾病的衰老中是不同的。MRI扫描中的生物脑年龄估计是量化这种效果的一种常见方法，而生物和年代年龄之间的差异表示脱胶过程。直接可视化和分析图像空间中与形态年龄相关的变化的能力对于提高对脑衰老的理解至关重要。在这项工作中，我们提出了一种基于深度学习的新方法，以在单个一致的模型中统一生物脑年龄估计和年龄条件的模板创建。我们通过开发确定性的自动编码器来实现这一目标，该自动编码器成功地解散了与年龄相关的形态变化和主体特定的变化。这允许其用作脑年龄回归和生成性脑老化模型。提出的方法表明，当应用于2000多个受试者的数据库时，将年龄条件的脑模板和模拟年龄的大脑图像的现实产生以及模拟年龄的大脑图像进行了现实。关键字：大脑老化，深度学习，生成模型
将 64Cu-DOTA-曲妥珠单抗 PET-CT 和 MRI 与数学建模相结合以预测 HER2 + 乳腺癌对新辅助治疗的反应
虽然存在针对人类表皮生长因子受体 2 阳性 (HER2 +) 乳腺癌的靶向疗法，但 HER2 + 患者并不总是对疗法有反应。我们展示了利用生物物理数学模型预测两名 HER2 + 乳腺癌患者的肿瘤反应的结果，这两名患者采用相同的治疗方案治疗，但获得了不同的治疗结果。来自磁共振成像 (MRI) 和 64 Cu-DOTA-曲妥珠单抗正电子发射断层扫描 (PET) 的定量数据用于估计每个患者的肿瘤密度、灌注和 HER2 靶向抗体的分布。MRI 和 PET 数据是在治疗前收集的，后续 MRI 扫描是在治疗中期进行的。鉴于这些数据类型，我们将数据集对齐到公共图像空间以实现模型校准。一旦使用这些数据对模型进行参数化，我们就可以预测有无 HER2 靶向治疗的治疗反应。通过将靶向治疗纳入模型，得到的预测结果能够区分两种不同的患者反应，使两名患者之间的肿瘤体积变化差异增加 40% 以上。这项工作提供了一种概念验证策略，用于处理和整合 PET 和 MRI 模式，将其整合到预测性临床数学框架中，以提供针对特定患者的 HER2 + 治疗反应预测。
具有对比学习和扩散先验的 fMRI 到图像
我们提出了 MindEye，一种新颖的 fMRI 到图像方法，用于从大脑活动中检索和重建所看到的图像。我们的模型包含两个并行子模块，专门用于检索（使用对比学习）和重建（使用扩散先验）。MindEye 可以将 fMRI 大脑活动映射到任何高维多模态潜在空间，如 CLIP 图像空间，从而能够使用接受来自该潜在空间的嵌入的生成模型进行图像重建。我们使用定性的并排比较和定量评估，将我们的方法与其他现有方法进行了全面比较，并表明 MindEye 在重建和检索任务中都达到了最先进的性能。特别是，即使在高度相似的候选图像中，MindEye 也可以检索出精确的原始图像，这表明它的大脑嵌入保留了细粒度的图像特定信息。这使我们能够准确地从 LAION-5B 等大型数据库中检索图像。我们通过消融证明，Mind-Eye 的性能优于以前的方法，这得益于专门用于检索和重建的子模块、改进的训练技术以及具有更多数量级参数的训练模型。此外，我们还表明，通过使用 img2img，MindEye 可以更好地保留重建中的低级图像特征，并使用单独的自动编码器进行输出。所有代码均可在 GitHub 上找到。
朝基于事件的卫星对接
摘要 - 自动化卫星对接是大多数未来轨内服务任务的先决条件。大多数基于视觉的解决方案建议使用常规摄像机。但是，由于极端的照明条件，官能相机面临挑战。事件摄像机已用于各种应用中，因为它们的优势比常规摄像机（例如高时间分辨率，更高的动态范围，低功耗和更高的像素带宽）。本文提出了一个硬件设置，以模拟低地轨道（LEO）条件。该设置旨在展示基于事件的相机对卫星对接应用程序的适用性。开发的测试环境具有类似于狮子座的照明条件，Leo是洛克希德·马丁（Lockheed Martin）的任务增强端口标准后的模拟卫星对接端口，以及一个可以将模拟卫星移动以复制太空运动的机器人臂。本文显示了在狮子座条件下（例如像素饱和度）中传统摄像机所面临的缺点，从而导致功能丧失。为了克服这些局限性，本文使用基于事件的相机介绍了端口检测管道。所提出的管道在图像空间中以平均误差为8.58像素来检测对接端口。与图像宽度和高度相比，此错误分别为2.48％和3.30％。因此，所提出的方法为卫星对接提供了有希望的结果，该卫星在狮子座环境中使用照明条件具有挑战性的情况。
零拍的幻觉拓扑记忆
在视觉计划（VP）中，代理商学会了从观察到的动态系统中的目标指导行为，例如，从自我监督的机器人交互中获得的图像。大多数先前关于VP的作品通过在学习的潜在空间中进行计划，低质量的视觉计划和难以训练的培训算法来接近概率。在这里，我们提出了一种直接在图像空间中计划并显示竞争性能的简单VP方法。我们建立在半参数拓扑内存（SPTM）方法上：图像样本被视为图中的节点，从图像序列数据中学到了图形连接，并且可以使用常规的图形搜索方法来执行计划。我们在SPTM上提出了两次修改。首先，我们使用接受稳定训练的对比预测编码训练基于能量的图形连接函数。第二，为了允许在新域中进行零射击计划，我们学习了一个有条件的VAE模型，该模型在给定描述域的上下文中生成图像，并使用这些幻觉样本来构建连接图和计划。我们表明，这种简单的方法在使用计划指导轨迹以下控制器的计划时，就计划的可解释性和成功率而言，这种简单的方法既优于SOTA VP方法。有趣的是，我们的方法可以拾取诸如其几何形状之类的非平凡的视觉属性，并在计划中说明它。
用于增强全脑分割的曲率引导粗到精框架
摘要。全脑分割是将整个脑体积划分为解剖标记的感兴趣区域 (ROI)，是脑图像分析中的关键步骤。传统方法通常依赖于复杂的管道，这些管道虽然准确，但由于其复杂性而耗时且需要专业知识。或者，端到端深度学习方法提供快速的全脑分割，但通常会由于忽略几何特征而牺牲准确性。在本文中，我们提出了一种新颖的框架，将以前由复杂的基于表面的管道使用但被基于体积的方法忽略的关键曲率特征集成到深度神经网络中，从而实现高精度和高效率。具体而言，我们首先训练一个粗略的解剖分割模型，重点关注高对比度组织类型，即白质 (WM)、灰质 (GM) 和皮层下区域。接下来，我们使用 WM/GM 接口重建皮质表面，并计算表面上每个顶点的曲率特征。然后将这些曲率特征映射回图像空间，在那里它们与强度特征相结合以训练更精细的皮质分割模型。我们还简化了皮质表面重建和曲率计算的过程，从而提高了框架的整体效率。此外，我们的框架非常灵活，可以将任何神经网络作为其主干。它可以作为即插即用组件来增强任何分割网络的全脑分割结果。在公共 Mindboggle-101 数据集上的实验结果表明，与各种深度学习方法相比，分割性能有所提高，速度相当。