最近,在利用人类反馈来增强图像产生方面取得了重大进展,导致迅速发展的研究领域的出现。但是,当前的工作面临着几个关键挑战:i)数据数量不足; ii)粗略的反馈学习;为了应对这些挑战,我们提出了Treereward,这是一种新型的多维,细粒度和自适应馈回学习框架,旨在改善扩散模型的语义和审美方面。具体来说,为了解决细粒反馈数据的限制,我们首先以“ AI + Exper”方式设计有效的反馈数据构建管道,产生约220万个高质量的反馈数据集,其中包含六个细粒度的尺寸。构建的,我们将构建一个树结构奖励模型,以有效利用细粒度的反馈数据,并在反馈学习过程中提供量身定制的优化。对稳定扩散V1.5(SD1.5)和稳定扩散XL(SDXL)的广泛实验证明了我们方法在增强一般且细粒度
主要关键词