Taming Text-to-Sounding Video Generation via Advanced Modality Condition and Interaction
这项研究的重点是文本到声音视频 (T2SV) 生成，旨在生成具有文本同步音频的视频，两种模式都与文本条件一致。尽管联合音视频训练取得了进展，但仍然存在两个关键挑战：（1）文本调节是一个瓶颈——共享字幕（TV = TA）触发模态干扰，而密集的训练字幕和简洁的推理用户提示之间仍然存在差距；（2）跨模态特征交互的最佳融合机制仍不清楚。为了解决第一个挑战，我们首先提出......
Embed the world: Multimodal AI for searchable aerial imagery at scale
在这篇文章中，我们将介绍问题空间、我们在 Amazon Bedrock 和 Amazon OpenSearch Serverless 上的架构、我们在 OpenStreetMap 基础事实上构建的评估方法、比较嵌入模型、融合策略、字幕和搜索方法的四个实验，以及构建类似系统时可以应用的实用指南。您将了解哪些设计选择推动了地理空间语义搜索，包括为什么 Amazon Nova Multimodal Embeddings 在我们的评估中的两个基准查询中提供了最高的 F1 分数。这里描述的工作演变成 Vexcel Intelligence，一种可搜索的图像产品。
