RayRoPE: Projective Ray Positional Encoding for Multi-View Attention
我们研究了多视图变换器的位置编码，该变换器处理来自一组姿势输入图像的标记，并寻求一种独特地编码补丁的机制，允许具有多频率相似性的 SE(3) 不变注意力，并且可以适应底层场景的几何形状。我们发现先前的（绝对或相对）多视图注意力编码方案不能满足上述要求，并提出 RayRoPE 来解决这一差距。 RayRoPE 表示基于相关光线的补丁位置，但利用沿光线的预测点而不是…
