随着AI生成的Content(AIGC)的开发,文本与ADIO模型正在引起广泛关注。然而,由于自然语言的固有信息密度和有限的模型不明显的能力,这些模型要生成与人类偏好保持一致的音频。为了减轻此问题,我们删除了指挥棒,这是第一个框架,旨在增强使用人类偏爱的反馈来增强生成的音频和文本提示之间的对齐。我们的接力棒包括三个关键阶段:首先,我们策划了一个包含提示和相应生成的音频的数据集,然后根据人类的馈本进行注释。其次,我们使用构造的数据集引入了奖励模型,该数据集可以通过分配奖励输入文本审计对来模仿人类的喜好。最后,我们采用了奖励模型来微调现成的文本对原模型。实验结果表明,我们的指挥棒可以显着提高原始文本对原模型的发电质量,音频完整性,时间关系以及与人类偏爱的一致性。项目页面可从https://baton2024.github.io获得。
主要关键词