XiaoMi-AI文件搜索系统
World File Search Systemexentric
Exentric到中心的视频生成-NIPS Papers
我们介绍了Exo2EGO-V，这是一种新颖的以外为中心为中心的基于质量扩散的视频生成方法，用于日常生活熟练的人类活动，其中稀疏4-视图中心的观点在现场周围配置了360°。由于外主和以自我为中心的观点和动态运动和现实世界中日常生活环境之间的显着差异，此任务尤其具有挑战性。为了应对这些挑战，我们首先提出了一种新的基于扩散的多视图外科编码器，以从多视图exentric视频中提取密集的多尺度功能，作为以自我为中心视频的外观条件。然后，我们在提供空间对立的自我中心特征之前设计了一个自以为是至中心的视图翻译，作为对以egipentric视频扩散模型的输入的串联指导。最后，我们将时间关注层引入我们的以自我为中心的视频扩散管道中，以改善温度一致性跨eg中心框架。广泛的实验表明，Exo2EGO-V从EGO-EXO4D数据集中显着超过SOTA方法，而LPIP的平均为35％。我们的代码和模型将在https://github.com/showlab/exo2ego-v上提供。
4DIFF：第三到第一个观点的3D引用扩散模型...
摘要。我们提出了4DIFF，这是一个解决Exo-to-ego视图转换任务的3D引起的扩散模型 - 从相应的第三人称（Exentric）图像中生成第一人称（Ego-go-Imentric）查看图像。建立扩散模型生成光地式图像的能力，我们提出了一个基于变压器的扩散模型，该模型通过两种机制对几何学进行了评分：（i）Egocentric Point Cloud Rasterization和（II）3D意识到的旋转旋转交叉注意。以中心的点云栅格化将输入外向图像转换为以自我为中心的布局，后者随后被扩散图像变压器使用。作为扩散变压器的DeNoiser块的组成部分，3D感知的旋转跨注意事件进一步结合了从源exentric视图中的3D信息和半出现特征。我们的4DIFF在挑战性和多样化的自我exo4d多视图数据集上实现了状态的结果，并展示了对训练期间未遇到的新型环境的强大概括。我们的代码，处理过的数据和预处理的模型可在https://klauscc.github.io/4diff上公开获取。