XiaoMi-AI文件搜索系统
World File Search Systemiview
在极端照明变化下3D重建的生成多视图重新构建
从不同环境中拍摄的照片重建对象的几何形状和外观很难作为照明，因此对象外观在捕获的图像中各不相同。这特别挑战更镜面的对象，其外观在很大程度上取决于观看方向。一些先前的方法使用嵌入向量的图像跨图像模型的外观变化，而另一些方法则使用基于物理的渲染来恢复材料和每位图像照明。这种方法在输入照明的显着变化时忠实地恢复了依赖的外观，并且倾向于产生大部分弥漫性结果。我们提出了一种方法，该方法通过首先在单个参考照明下使用多视图
3D-MVP：3D Multiview for Anipulation
摘要：最近的作品表明，使用蒙版自动编码器（MAE）在以自我为中心的数据集上进行视觉预处理可以改善下游机器人技术任务的概括[1，2]。但是，这些方法仅在2D图像上预处理，而许多机器人应用程序需要3D场景的理解。在这项工作中，我们提出了3D-MVP，这是一种使用蒙版自动编码器进行3D多视图预处理的新方法。我们利用机器人视图变压器（RVT），该变压器（RVT）使用多视图变压器来理解3D场景并预测抓地力姿势动作。我们将RVT的多视图变压器拆分为视觉编码器和动作解码器，并在大规模3D数据集（例如Objaverse）上使用蒙版自动编码预处理其视觉编码器。我们在一组虚拟机器人操纵任务上评估了3D-MVP，并证明了基准的性能提高。我们还在真正的机器人平台上显示出令人鼓舞的结果，并具有最小的填充。我们的结果表明，3D感知预处理是提高样品效率和基于视力的机器人操纵策略的有前途的方法。我们将发布代码和验证模型，以促进未来的研究。
3D-MVP：机器人操纵的3D多视图
最近的作品表明，使用蒙版自动编码器（MAE）在以自我为中心数据集上进行视觉预测可以改善下游机器人技术任务的概括[40，29]。但是，这些方法仅在2D图像上预处理，而许多机器人应用程序需要3D场景的理解。在这项工作中，我们提出了3D-MVP，这是一种使用蒙版自动编码器进行3D多视图预处理的新方法。我们利用机器人视图变压器（RVT），该变压器（RVT）使用多视图变压器来理解3D场景并预测抓地力姿势动作。我们将RVT的多视图变压器拆分为视觉编码器和动作解码器，并在大规模3D数据集（例如Objaverse）上使用蒙版自动编码预处理其视觉编码器。我们在一组虚拟机器人操纵任务上评估了3D-MVP，并证明了基准的性能提高。我们还在真正的机器人平台上显示出令人鼓舞的结果，并具有最小的填充。我们的结果表明，3D感知预处理是提高样品效率和基于视觉机器人操纵策略的概括的有前途的方法。我们将发布3D-MVP的代码和预估计的模型，以促进未来的研究。
通过联合...融合多视图功能脑网络
摘要：背景：基于静息态功能磁共振成像（rs-fMRI）的功能性脑网络（FBN）在识别脑部疾病，如自闭症谱系障碍（ASD）方面显示出巨大的潜力。因此，近年来提出了许多FBN估计方法。现有的大多数方法仅从单一视角对大脑感兴趣区域（ROI）之间的功能连接进行建模（例如，通过特定策略估计FBN），无法捕捉大脑中ROI之间的复杂相互作用。方法：为了解决这个问题，我们提出通过联合嵌入融合多视角FBN，这可以充分利用通过不同策略估计的多视角FBN的共同信息。更具体地说，我们首先将用不同方法估计的FBN的邻接矩阵堆叠成一个张量，并使用张量分解来学习每个ROI的联合嵌入（即所有FBN的共同因子）。然后，我们使用 Pearson 相关性计算每个嵌入 ROI 之间的连接，以重建新的 FBN。结果：使用 rs-fMRI 数据在公共 ABIDE 数据集上获得的实验结果表明，我们的方法优于自动 ASD 诊断中的几种最新方法。此外，通过探索对 ASD 识别贡献最大的 FBN“特征”，我们发现了 ASD 诊断的潜在生物标志物。所提出的框架实现了 74.46% 的准确率，通常优于比较的单个 FBN 方法。此外，与其他多网络方法相比，我们的方法实现了最佳性能，即准确率提高了至少 2.72%。结论：我们提出了一种通过联合嵌入的多视图 FBN 融合策略，用于基于 fMRI 的 ASD 识别。从特征向量中心性的角度来看，所提出的融合方法有一个优雅的理论解释。
使用多模态 MRI 扫描对多视图 CNN 模型进行集成学习以预测脑肿瘤患者的生存时间
本研究提出的方法的一个关键思想是将 3D MRI 扫描转换为轴向、冠状面和矢状面的 2D 堆叠切片。因此，对于每个患者，都会从第 2.1 节中定义的四种 MRI 模式生成 12 个 2D 堆叠 MRI 切片。此后，我们将这 12 个 2D 堆叠切片分别表示为 FLAIR MRI 模式的轴向、冠状面和矢状面投影的 FLAIR-轴向、FLAIR-冠状面和 FLAIR-矢状面。同样，T1、T1CE 和 T2 模式的轴向、冠状面和矢状面视图分别表示为 T1-轴向、T1-冠状面和 T1-矢状面、T1CE-轴向、T1CE-冠状面和 T1CE-矢状面以及 T2-轴向、T2-冠状面和 T2-矢状面。为避免处理背景和管理 GPU 内存限制，我们排除了每张 MRI 扫描中不包含任何脑组织的一些开始和结束切片。每张切片的强度像素也在 0 到 255 的范围内重新缩放，转换为 PNG 格式，并归一化为零均值和单位方差。MRI 扫描的 3D 到 2D 重建使每张 2D 轴向、冠状面和矢状面投影图像的形状大小分别为 240 × 240、155 × 240 和 155 × 240 像素。这些投影图像
用于理解功能多组学的多视角学习
复杂生物系统中的分子机制和功能目前仍难以捉摸。最近的高通量技术，如新一代测序，已经生成了各种各样的多组学数据集，从而能够通过多个方面识别生物功能和机制。然而，整合这些大规模多组学数据并发现功能见解仍然是一项具有挑战性的任务。为了应对这些挑战，机器学习已被广泛应用于分析多组学。本综述介绍了多视角学习——一个新兴的机器学习领域——并展望了其在多组学中的潜在强大应用。特别是，多视角学习比以前的整合方法更有效地学习数据的异质性和揭示串扰模式。尽管多视角学习已应用于计算机视觉和语音识别等各种环境，但尚未广泛应用于生物数据——特别是多组学数据。因此，本文首先回顾了最近的多视角学习方法，并将它们统一在一个称为多视角经验风险最小化 (MV-ERM) 的框架中。我们进一步讨论了每种方法在多组学（包括基因组学、转录组学和表观基因组学）中的潜在应用，旨在发现跨组学的功能和机制解释。其次，我们探索了对不同生物系统的可能应用，包括人类疾病（例如脑部疾病和癌症）、植物和单细胞分析，并讨论了使用多视角学习发现这些系统的分子机制和功能的好处和注意事项。