机构名称：
¥ 1.0
生成模型中的进步引发了人们对产生图像的重大兴趣，同时遵守特定的结构指南。场景图到图像生成就是生成与给定场景图一致的图像的一项任务。然而，视觉场景的复杂性在基于场景图内的指定关系准确对齐的观察中提出了一个挑战。现有方法通过先预测场景布局并使用对抗性训练从这些布局生成图像来处理此任务。在这项工作中，我们介绍了一种新颖的方法来从场景图中产生iM，从而消除了预测中间布局的需求。我们利用预先训练的文本对图像扩散模型和剪辑指导来将图形知识转化为图像。向此，我们首先使用基于GAN的培训将图形编码器与相应图像的剪辑特征与相应图像的剪辑特征对齐。此外，我们将图形特征与给定场景图中存在的对象标签的剪辑嵌入融合在一起，以创建一个一致的剪辑引导性调节信号。在条件输入中，对象嵌入提供了图像的粗糙结构，图形特征提供了基于对象之间关系的结构对齐。fi-Nelly，我们对图一致的调节信号和夹子对准损失的图一致的调节信号进行了预训练的扩散模型。详细的实验表明，我们的方法在可可粘合和视觉基因组数据集的标准基准上的现有方法优于现有方法。我们的代码和重现结果的说明可以在https://anonymon.4open.science/r/gandiffuclip-d9e8中找到。
布局免费场景图到图像发电
主要关键词
相关文件推荐
