摘要。背景意识和场景理解是计算机辅助和机器人手术中智能系统开发的组成部分。尽管大多数系统主要利用视觉数据进行场景理解,但最新的概念证明已展示了声学的大量,用于检测和分析与典型的噪声排放相关的手术活动。但是,尚未有效地用于手术中的定位任务,这对于获得对场景的全面理解至关重要。在这项工作中,我们介绍了可以揭示声学活动及其在手术领域的位置的新型声源定位概念(SSL),因此提供了对患者和医疗设备的外科手术人员的相互作用的见解。我们通过在两个概念验证本地化任务中使用声学摄像头解释声音活动热图,表明了这一概念的潜力。对于对象检测任务,我们以86.07%的0.5 IOU实现AP,平均欧几里得距离为13。70±14。65个PX在图像分辨率为1100x825 PX的图像分辨率,用于关键点检测任务。基于这些结果,我们认为声学事件的本地化具有外科手术理解的巨大潜力,为未来手术室中的多模式感应解决方案打开了许多新的研究方向。据作者的最佳知识,这是在医学背景下利用SSL的第一项作品。
主要关键词