从所见的属性 - 对象对学习以概括为未看到的组合物,已在组合零拍学习(CZSL)中进行了广泛的研究。但是,CZSL设置仍然仅限于看到的属性和对象,并且不能概括地看不见的概念及其组成。为了克服这一局限性,我们提出了一项新任务,开放的词汇 - 组成零 - 折射学习(OV-CZSL),其中评估了未看到的属性,对象和看不见的组成。表明OV-CZSL是一个具有挑战性但可解决的问题,我们提出了基于存在的数据集MIT态的三个新基准(Isela,Lim和Adelson 2015),C-GQA(Mancini等人(Mancini等)(Mancini等人)2022)和vaw-czsl(Saini,Pham和Shrivastava 2022; Pham等人2021),以及新的基准和评估设置。我们将语言嵌入和外部词汇与我们新颖的邻里扩展损失一起使用,以允许任何方法学习观察和看不见的原始物之间的语义相关性。
摘要 - 本文提出了一种掩盖优化方法,用于使用图像介入来提高对象去除的质量。在许多现实情况下,许多介绍方法都经过一组随机掩码的训练,但在许多现实的情况下,indpainting的目标可能是一个对象,例如一个人。训练和推理图像中掩模之间的域间隙增加了介入任务的难度。在我们的方法中,通过训练通过分割提取的对象掩码训练介入网络来解决此域间隙,并且在推理步骤中也使用了此类对象掩码。此外,为了优化对象蒙版的介入,分割网络已连接到indpainting网络,并端到端训练以提高镶嵌性能。通过我们的面具扩展损失实现大型面具和小型面具之间的权衡,这种端到端训练的效果进一步增强了。实验结果证明了我们方法使用图像介入的方法去除对象的有效性。索引术语 - 图像inpainting,对象分割,对象删除