详细内容或原文请订阅后点击阅览
跟踪每个像素：使用 OmniMotion 进行运动估计
最新的运动估计方法可以提取帧中每个像素的长期运动轨迹，即使在快速运动和复杂场景的情况下也是如此。在这篇关于 OmniMotion 的文章中详细了解这项激动人心的技术和运动分析的未来。
来源:Qudata跟踪每个像素：使用 OmniMotion 进行运动估计
计算机视觉研究不断拓展视频内容编辑和创建的可能性，巴黎国际计算机视觉会议上展示的创新工具之一就是 OmniMotion。它在论文“同时跟踪所有地方的一切”中进行了描述。康奈尔大学的研究人员开发了一款功能强大的优化工具，旨在估计视频片段中的运动。它有可能彻底改变使用人工智能进行视频编辑和生成内容创建的方式。传统上，运动估计方法遵循两种主要方法之一：跟踪稀疏物体和使用密集光流。然而，它们都不允许我们在较长的时间间隔内完全模拟视频中的运动并跟踪视频中所有像素的运动。解决此问题的方法通常在时间和空间上受到上下文限制，导致在长轨迹上积累错误，并导致运动估计不一致。总体而言，开发用于跟踪密集和长距离轨迹的方法仍然是该领域的一个紧迫问题，包括三个主要方面：
OmniMotion 同时跟踪所有地方的所有事物。- 长时间间隔内的运动跟踪即使发生遮挡事件也能进行运动跟踪确保空间和时间的一致性
图 1. OmniMotion 在所有帧中联合跟踪视频中的所有点，即使发生遮挡也是如此。
图 1. OmniMotion 在所有帧中联合跟踪视频中的所有点，即使发生遮挡也是如此。图 2. 方法概述。 OmniMotion 由一个规范的 3D 体积 G 和一组 3D 双射组成
图 2. 方法概述。OmniMotion 由一个规范的 3D 体积 G 和一组 3D 双射组成 mip-NeRF 360 Adam 优化器 此处