Transformer? Diffusion? Transfusion!
最新多模态转输模型的简单介绍最近，Meta 和 Waymo 发布了他们的最新论文 —Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model，该论文将流行的 Transformer 模型与扩散模型相结合，用于多模态训练和预测目的。与 Meta 之前的工作一样，Transfusion 模型基于带有早期融合的 Llama 架构，它同时采用文本 token 序列和图像 token 序列，并使用单个 Transformer 模型来生成预测。但与以前的技术不同，Transfusion 模型对图像 t
