XiaoMi-AI文件搜索系统
World File Search System单眼
intrinsicavatar：通过显式射线跟踪
我们提出了intincavatar，这是一种新的方法，是一种从单眼视频中照亮的，包括几何形状，反照率，材料和环境的内在特性。基于人类的神经渲染的最新进展已使来自单眼视频的穿着人类的高质量几何形状和外观重建。然而，这些方法烘烤了内在特性，例如反照率，材料和环境照明成一个单一的纠缠神经表示。另一方面，只有少数作品可以解决估计单眼视频中穿衣人类的几何形状和分离的外观特性的问题。，由于通过学习的MLP对次要阴影效应的近似值，他们通常会获得有限的质量和分离。在这项工作中，我们建议通过蒙特卡罗射线跟踪明确地对次级阴影效应进行建模。我们将衣服的人体的渲染过程建模为体积散射过程，并将射线跟踪与人体的作用相结合。我们的方法可以从单眼视频中恢复服装人类的高质量地理，反照率，材料和照明特性，而无需使用地面真相材料进行监督的预训练。fur-hoverore，因为我们明确地对体积散射过程和射线追踪进行了建模，所以我们的模型自然而然地形成了一般 -
从地面到对象：与地面接触的动态物体的粗到细节自我监督的单眼估计
自我监督的单眼深度估计（DE）是一种学习深度的方法，没有昂贵的深度地面真理。但是，它经常在移动物体上挣扎，这些物体违反了训练期间的静态场景假设。为了结束这个问题，我们介绍了一个粗到最新的训练策略，该策略利用了地面与先验接触的地面，该期望是在户外场景中大多数移动物体在地面上造成的。在粗糙的训练阶段，我们将动态类中的对象排除在再投入损失计算中，以避免深度学习不准确。为了对物体的深度进行精确的监督，我们提出了一种新颖的接地式差异平滑度损失（GDS-loss），该损失（GDS-loss）鼓励DE网络将物体的深度与其接地接触点保持一致。随后，在精细的训练阶段，我们完善了DE网络，以了解重新投影损失中对象的详细深度，同时通过使用基于成本量的加权因素利用我们的正则化损失来确保对移动对象区域的准确DE。我们的整体粗表表训练策略可以轻松地与无需修改的方法集成，从而显着提高了挑战性的城市景观和KITTI数据集的DE性能，尤其是在移动对象区域中。
黑板 - 前进的自主目标检测和映射：开发用于单眼深度感应和动态tar
摘要 - 该研究旨在实施能够自主检测绵羊目标并在2D占用图上代表它们的系统，其最终目标是促进在UXV平台上自主牧羊。本文详细介绍了Blackboard System的开发，Blackboard System是一种用于自动目标检测和映射的软件解决方案。使用Python和C编程语言，Blackboard系统将单眼深度感测与自主目标检测，以产生全面的深度和目标图。这些地图是合并的，以产生从高架相机的角度捕获的操作区域的详细的2D鸟视图。黑板系统的独特功能是其模块化框架，它允许无缝更新或更换其深度传感和目标检测模块。
svg：3D立体视频生成...
视频生成模型已经证明了产生令人难以置信的单眼视频的功能，但是，3D立体视频的产生仍然不足。我们提出了一种使用现成的单眼视频生成模型的无姿势和无训练方法，用于发电3D立体视频。我们的方法使用估计的视频深度将生成的单眼视频扭曲到立体基线的相机视图中，并采用了一种新型的框架矩阵视频介绍框架。该框架利用视频代理模型来从不同的时间戳和视图中观察到的框架。这种有效的方法会产生一致且具有语义相干的立体视频，而无需场景优化或模型调整。此外，我们开发了一个不合格的边界重新注射方案，该方案通过减轻潜在空间中分离的区域传播的负面影响进一步提高视频介绍的质量。我们通过对包括Sora（Brooks等，2024），Lumiere（Bar-Tal等，2024），Walt（Gupta等，2023）和Zeroscope（Wang等人（Wang et al。，2023A）的视频进行实验来验证我们提出的方法的效率。实验表明我们的方法比以前的方法具有显着改善。项目页面https://daipengwa.github.io/svg_projectpage/
猪头中的步态模式的客观跟踪
本文提出了一个客观的基础，用于使用计算机视觉技术分析赛马的步态模式，特别着眼于识别步态不对称性。使用最小输出误差（MOSSE）跟踪器和立体声摄像机系统的使用总和可以增强在动态环境中跟踪的准确性和鲁棒性。由瑞典农业科学大学（SLU）提供的数据集包括使用单眼和立体声摄像头捕获的视频。关键投资涉及图像特征在改善跟踪e ff的功能，立体声愿景比单眼设置的优势以及feacherture选择的影响，视频稳定和帧速率对跟踪性能的影响。发现表明，集成立体声摄像机数据和高级图像功能可显着提高跟踪鲁棒性，以可靠的客观路径前进，以检测小跑赛马的la行。测试的方法有可能通过早期诊断和干预来增强马福利，同时推进兽医和计算机视觉应用。
基于深度学习的光流有多好？
本文探讨了基于深度学习的模型与Orb-Slam3框架的深入估算的整合，以应对单眼同时位置和映射（SLAM）的挑战，并与纯旋转运动有关。这项研究正在研究使用激发通用网络进行这些网络的深度估计和混合组合的可能性，以取代传统的深度传感器并改善SLAM系统中的规模。使用定制的相机阵容进行了一系列实验，旨在隔离纯旋转运动。分析包括评估每个模型对SLAM过程的影响以及对深度估计和结果的定量性能指标（CPI）。结果显示了深度估计值的准确性和SLAM性能之间的联系，这强调了模型在改进SLAM系统中的深度估计潜力。这些发现有助于理解单眼深度估计在与污泥集成中的作用，尤其是在需要精确空间意识的应用中。
对CNN
单眼深度估计是计算机视觉中的持续挑战。变压器模型的最新进展证明了与该领域的召开CNN相比，具有显着的优势。但是，了解这些模型如何优先考虑2D图像中不同区域的优先级以及这些区域如何影响深度估计性能。探索变压器和CNN之间的差异，我们采用了稀疏的像素方法对比分析两者之间的区别。我们的发现表明，尽管变形金刚在处理全球环境和错综复杂的特征方面表现出色，但它们在保留深度梯度连续性方面落后于CNN。为了进一步增强在单眼深度估计中的变压器模型的性能，我们提出了深度梯度改进（DGR）模块，该模块通过高阶分化，特征融合和重新校准来完善深度估计。此外，我们利用最佳运输理论，将深度图视为空间概率分布，并采用最佳传输距离作为损失函数来优化我们的模型。实验结果表明，与插件深度梯度改进（DGR）模块集成的模型以及所提出的损失函数可增强性能，而无需增加室外Kitti和室内NYU-DEPTH-V2数据集的复杂性和计算成本。这项研究不仅提供了深入估计转换器和CNN之间区别的新见解，而且还为新颖的深度估计方法铺平了道路。
![arxiv：2308.08333v4 [CS.CV] 23 Jul 2024](/simg/a\a3f7b583186411dd2ab2cca4ba5ff02b1fa3a395.webp)
arxiv：2308.08333v4 [CS.CV] 23 Jul 2024
单眼深度估计是计算机视觉中的持续挑战。变压器模型的最新进展与该领域的常规CNN相比表现出显着的优势。但是，这些模型如何优先考虑2D图像中的不同区域以及这些区域如何影响深度估计性能，仍然存在差距。探索转移器和CNN之间的差异，我们采用了稀疏的像素方法来对比分析两者之间的区别。我们的发现表明，尽管变形金刚在全球环境和错综复杂的纹理中表现出色，但它们却落后于保留深度梯度连续性。在单眼深度估计中增强了变压器模型的性能，我们提出了深度差异（DGR）模块，该模块通过高阶分化，特征融合和重新校准来完善深度估计。此外，我们利用最佳运输理论，将深度图视为空间概率分布，并采用最佳运输距离作为损失函数来优化我们的模型。实验结果表明，与插入深度梯度改进（DGR）模块集成的模型以及置换损失函数可增强性能，而无需增加室外Kitti和Indoor Nyu-Depth-v2数据集的复杂性和计算成本。这项研究不仅提供了深入估计变压器和CNN之间区别的新见解，而且还为新颖的深度估计方法铺平了道路。