详细内容或原文请订阅后点击阅览
更好地评估 3D CVML 算法：定位模型的沉浸式调试
随着机器人、自动驾驶和空间计算领域的不断进步，越来越多的计算机视觉和机器学习 (CVML) 算法正在将三维数据纳入其框架中。调试这些 3D CVML 模型通常需要超越传统的性能评估方法，需要更深入地了解算法在时空背景下的行为。然而，缺乏适当的可视化工具给有效探索与关键相关的 3D 数据和空间特征带来了重大障碍......
来源:Apple机器学习研究随着机器人、自动驾驶和空间计算领域的不断进步，越来越多的计算机视觉和机器学习 (CVML) 算法正在将三维数据纳入其框架中。调试这些 3D CVML 模型通常需要超越传统的性能评估方法，需要更深入地了解算法在时空背景下的行为。然而，缺乏适当的可视化工具给有效探索与关键绩效指标 (KPI) 相关的 3D 数据和空间特征带来了重大障碍。为了应对这一挑战，我们探索应用沉浸式分析 (IA) 方法来增强 3D CVML 模型的调试过程。通过对八位 CVML 工程师的深入访谈，我们确定了空间算法开发过程中面临的常见任务和挑战，并建立了一套设计原则来创建适合空间模型评估的工具。基于这些见解，我们提出了一种新颖的沉浸式分析系统，用于调试室内定位算法。该系统使用网络技术构建，并集成了 WebXR，以实现现实与虚拟连续体的流畅过渡。我们与六名 CVML 工程师一起使用我们在 Apple Vision Pro 上的系统进行了定性研究，观察他们调试室内定位序列时的分析工作流程。我们讨论了在模型评估工作流程中采用沉浸式分析的优势，强调了跨不同沉浸级别无缝集成 2D 和 3D 可视化以促进更有效的模型评估的作用。最后，我们反思了实施权衡，并讨论了我们的研究结果对未来沉浸式 3D CVML 模型调试工作的普遍性。
- † 哈佛大学、剑桥大学