机构名称：
¥ 1.0
弱监督隐藏物体分割 (WSCOS) 旨在使用稀疏注释的数据进行模型训练，以分割与周围环境良好融合的物体。这仍然是一项具有挑战性的任务，因为 (1) 由于内在相似性，很难将隐藏物体与背景区分开来，以及 (2) 稀疏注释的训练数据仅为模型学习提供弱监督。在本文中，我们提出了一种新的 WSCOS 方法来应对这两个挑战。为了解决内在相似性挑战，我们设计了一个多尺度特征分组模块，该模块首先按不同粒度对特征进行分组，然后聚合这些分组结果。通过将相似的特征分组在一起，它可以促进分割的一致性，从而有助于获得单个和多个物体图像的完整分割结果。对于弱监督挑战，我们利用最近提出的视觉基础模型“分割任何物体模型 (SAM)”，并使用提供的稀疏注释作为提示来生成分割蒙版，用于训练模型。为了减轻低质量分割蒙版的影响，我们进一步提出了一系列策略，包括多增强结果集成、基于熵的像素级加权和基于熵的图像级选择。这些策略有助于提供更可靠的监督来训练分割模型。我们在各种 WSCOS 任务上验证了我们方法的有效性，实验表明我们的方法在这些任务上实现了最先进的性能。代码将在 https://github.com/ChunmingHe/WS-SAM 上提供。
基于 SAM 的伪标记和多尺度特征分组的弱监督隐藏对象分割
主要关键词
相关文件推荐
