Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
这项研究的重点是文本到声音视频 (T2SV) 生成，旨在生成具有文本同步音频的视频，两种模式都与文本条件一致。尽管联合音视频训练取得了进展，但仍然存在两个关键挑战：（1）文本调节是一个瓶颈——共享字幕（TV = TA）触发模态干扰，而密集的训练字幕和简洁的推理用户提示之间仍然存在差距；（2）跨模态特征交互的最佳融合机制仍不清楚。为了解决第一个挑战，我们首先提出......
