尽管神经辐射场 (NeRF) 在图像新视图合成 (NVS) 方面取得了成功,但 LiDAR NVS 仍然基本上未被探索。以前的 LiDAR NVS 方法采用了与图像 NVS 方法的简单转变,同时忽略了 LiDAR 点云的动态特性和大规模重建问题。鉴于此,我们提出了 LiDAR4D,这是一个可微分的 LiDAR 专用框架,用于新颖的时空 LiDAR 视图合成。考虑到稀疏性和大规模特性,我们设计了一种结合多平面和网格特征的 4D 混合表示,以由粗到细的方式实现有效重建。此外,我们引入了从点云衍生的几何约束来提高时间一致性。对于 LiDAR 点云的真实合成,我们结合了光线丢弃概率的全局优化来保留跨区域模式。在 KITTI-360 和 NuScenes 数据集上进行的大量实验证明了我们的方法在实现几何感知和时间一致的动态重建方面具有优越性。代码可在 https://github.com/ispc-lab/LiDAR4D 获得。
摘要 - 我们通过弥合以学习为中心的政策培训和基于模型的控制之间的差距来提供学习机器人控制的新见解。我们利用最佳控制,强化学习和可区分模拟来开发控制算法,从而增强机器人的敏捷性,同时在现实世界中保持稳健性。首先,我们表明,与最佳控制相比,机器人技术中增强学习的基本优势在于其优化目标。具体来说,RL直接最大化任务级目标,这可能是不可差异的,而最佳控制受到平滑且可微分的成本功能的要求限制。客观设计的灵活性允许实现更灵活的控制策略,从而在意外情况下导致更强的性能。第二,我们建议使用策略搜索自动优化模型预测控制(MPC)的高级策略。此公式使策略搜索能够专注于最大化高级任务目标,而MPC优化可以集中于低级跟踪性能。第三,我们探讨了可区分模拟进行政策培训的潜力。可区分的模拟可以提供低变化的一阶梯度,从而导致更稳定的训练和更好的收敛性。我们显示了玩具双积分器的近乎最佳控制性能及其对四足动力的潜力。