Molmo 是一系列先进且开放的人工智能模型，可以同时处理多种类型的数据。这些模型的性能优于市场上许多更大的替代方案，与传统的多模式系统不同，Molmo 可以与物理和虚拟环境交互。这要归功于在人类专家的帮助下收集的独特数据集，在数据方面，质量优先于数量。这意味着与竞争对手相比，Allenai 模型（Olmo/OlMoE/Molmo）能够以更少的数据点实现高性能，因为它们是完全开放的，而不仅仅是开放权重/免费使用。 Molmo 模型使用的数据集也已公开且开放，其规模和性能超出了学术和人类评估的预期，这使得 Molmo 模型与许多其他使用封闭式的先进多模态模型不同。通过语音描述收集重要的新数据集来训练其模型，通过启用指向交互，Molmo 开辟了数字和物理领域的新应用。 Molmo 的训练数据 PixMo 注重数据质量，即使少于 100 万个图文对也能提供高性能模型。由于 Molmo 收集和使用数据时不依赖现有的 VLM，因此可以从头开始构建模型。Molmos 架构将语言模型与图像编码器相结合，以高效处理多模态任务。您会发现DEMO此处：https://molmo.allenai.orghttps://allenai.org/olmo