现有的文本到图像生成模型反映甚至扩大了其培训数据中根深蒂固的社会偏见。这对于人类图像发生尤其关注,其中模型与某些人口统计组有偏见。现有的纠正此问题的尝试受到预训练模型的固有局限性的阻碍,并且无法实质上改善人口多样性。在这项工作中,我们引入了公平检索增强生成(Fairrag),这是一个新颖的框架,该框架对从外部图像数据库中检索到的参考图像进行了预训练的生成模型,以改善人类发电机的公平性。Fairrag可以通过轻质线性模块进行调节,该模块将图像投入到Textual空间中。为了提高公平性,Fairrag应用了简单但有效的借鉴策略,在生成过程中提供了来自Di-Verse人群的图像。广泛的实验表明,Fairrag在人口统计学多样性,图像文本比对和图像保真度方面构成了现有方法,同时在推断过程中产生了最小的计算开销。
主要关键词