摘要。传统的基于LIDAR的对象检测研究的基础侧重于封闭场景,该场景在复杂的现实世界应用中差不多。直接将现有的2D开放式视频计学模型转移到具有一些已知的LiDAR类别以进行开放式摄氏度的能力,但往往会遇到过度拟合的问题:获得的模型将检测到已知的对象,甚至呈现出新的类别。在本文中,我们提出了Opensight,这是一种基于激光雷达的开放式摄影检测的更高级的2D-3D建模框架。Opensight利用2D-3D几何先验来进行通用观察的初始识别和定位,然后对检测到的对象进行了更具体的语义解释。该过程首先从LIDAR的随附的相机图像中生成2D框。用LiDar点的这些2D盒子将其抬起回到激光雷达空间中,以估算相应的3D盒子。为了获得更好的通用对象感知,我们的框架都集成了时间和空间感知的约束。时间意识将连续时间戳跨预测的3D框关联,从而重新校准了错过或不准确的框。空间意识随机将一些“精确”估计的3D框以不同的距离估计,从而增加了通用对象的可见性。要解释检测到的对象的特定语义,我们开发了一个跨模式对齐和融合模块,以将3D特征与2D图像嵌入,然后融合为语义解码的对齐的3D-2D特征。我们的实验表明,我们的方法在广泛使用的3D检测基准上建立了最先进的开放式摄影性能,并有效地识别了对新类别感兴趣的对象。
用于无框术内神经局的客观监测和基于魔杖的神经导航站(MWBNSS)通常用于颅神经外科手术。但是,它们在时间和空间上都很麻烦。或必须在MWBN周围排列,至少必须使用一只手来操纵MWBNS魔杖(中断双层手术技术),并且随着外科医生在远程监控器上“检查导航”时,手术工作流程被中断。因此,需要连续,实时,免提,神经巡航解决方案。增强现实(AR)有望简化这些问题。作者提出了第一项报道的前瞻性试验研究,研究了使用AR头部安装显示的Opensight施用的精神,以绘制肿瘤切除术进行选择性颅骨切开术的患者中的肿瘤边界,并比较与MWBNS追踪的对应程度。方法前瞻性地鉴定出了十一名接受选修颅骨切除术进行选修颅骨切除术的患者,并在切口计划时,戴着戴着Hololens Ar眼镜的外科医生在切口计划时进行了圆周肿瘤边界的追踪,该眼镜运行了霍洛伦斯Ar眼镜,该眼镜运行了注册给患者和前疗程MRI的商业上可用的开发应用。然后,同一患者使用Stealthstation S8 MWBN进行了周向肿瘤边界跟踪。术后,两个盲目板认证的神经外科医生都比较了两个肿瘤边界图,并根据重叠的主观意义而被评为具有出色,适当或较差的对应度。还确定了客观重叠面积测量值。结果包括11例接受颅骨切开术的患者。五个患者程序被评为具有出色的对应程度,5个具有足够的对应程度,而相关性较差。在所有情况下,两个评估者都同意该评级。AR追踪。在这项小型试点研究中得出的结论,作者发现AR在神经外科或神经外科的工作流程中是可实施的,并且是一种用于切口计划的术前肿瘤边界识别的可行方法。需要未来的研究来确定提高和优化AR准确性的策略。