机构名称：
¥ 1.0
尽管用于语义图像编辑的深度神经模型最近取得了进展，但目前的方法仍然依赖于明确的人工输入。先前的工作假设有手动整理的数据集可用于监督学习，而对于无监督方法，需要人工检查发现的组件以识别那些修改有价值语义特征的组件。在这里，我们提出了一种新颖的替代方法：利用大脑反应作为学习语义特征表示的监督信号。在一项神经生理学实验中，向参与者 (N=30) 展示人工生成的面孔并指示他们寻找特定的语义特征，例如“老”或“微笑”，同时通过脑电图 (EEG) 记录他们的大脑反应。使用从这些反应推断出的监督信号，学习生成对抗网络 (GAN) 潜在空间内的语义特征，然后将其用于编辑新图像的语义特征。我们表明，隐性大脑监督实现的语义图像编辑性能与显性手动标记相当。这项工作证明了利用通过脑机接口记录的隐性人类反应进行语义图像编辑和解释的可行性。
脑监督图像编辑
主要关键词
相关文件推荐
