详细内容或原文请订阅后点击阅览
通过高级模态条件和交互来驯服文本到声音视频的生成
这项研究的重点是文本到声音视频 (T2SV) 生成，旨在生成具有文本同步音频的视频，两种模式都与文本条件一致。尽管联合音视频训练取得了进展，但仍然存在两个关键挑战：（1）文本调节是一个瓶颈——共享字幕（TV = TA）触发模态干扰，而密集的训练字幕和简洁的推理用户提示之间仍然存在差距；（2）跨模态特征交互的最佳融合机制仍不清楚。为了解决第一个挑战，我们首先提出......
来源:Apple机器学习研究这项研究的重点是文本到声音视频 (T2SV) 生成，旨在生成具有文本同步音频的视频，两种模式都与文本条件一致。尽管联合音视频训练取得了进展，但仍然存在两个关键挑战：（1）文本调节是一个瓶颈——共享字幕（TV = TA）触发模态干扰，而密集的训练字幕和简洁的推理用户提示之间仍然存在差距；（2）跨模态特征交互的最佳融合机制仍不清楚。为了解决第一个挑战，我们首先提出交叉引用重写器（CRR）标题框架，这是一个双代理管道，其中语义检查器提取接地语义锚，跨模态重写器生成解开的标题对（TV和TA），消除模态干扰并弥合训练推理差距。