文本到图像生成模型已经通过先进的 AI 技术获得了关注，能够根据文本提示生成详细且上下文准确的图像。该领域的快速发展导致了许多模型的出现，例如 DALLE-3 和 Stable Diffusion，旨在将文本转换为视觉上连贯的图像。文本到图像生成中的一个重大挑战是帖子 MJ-BENCH：用于评估文本到图像生成的多模式 AI 基准，重点关注对齐、安全性和偏差，首先出现在 AI Quantum Intelligence 上。
SenseTime SenseNova 5o Kinas första realtids-multimodella modell
商汤科技在上海举行的世界人工智能大会上发布了突破性的人工智能模型SenseNova 5o和SenseNova 5.5。 SenseNova 5o是中国第一个实时多模态模型，可以处理各种数据类型进行交互对话，提高了数学推理、英语和跟随提示的能力。更新后的SenseNova 5.5大型模型提供了经济高效的近边缘部署，并已被[…]采用。商汤科技SenseNova 5o中国首款实时多模型首次出现在AI新闻上。
MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs
我们推出了 MIA-Bench，这是一种新的基准，旨在评估多模态大型语言模型 (MLLM) 严格遵守复杂指令的能力。我们的基准由 400 个不同的图像提示对组成，每个对都经过精心设计，旨在挑战模型对分层指令的遵守情况，从而生成满足特定请求模式的准确响应。来自各种最先进的 MLLM 的评估结果揭示了性能的显著差异，突出了指令保真度方面需要改进的地方。此外，我们创建了额外的训练数据和……
多模态大型语言模型 (MLLM) 在视觉任务中有各种应用。MLLM 依靠从图像中提取的视觉特征来理解其内容。当提供包含较少像素的低分辨率图像作为输入时，它会将较少的信息转换为这些模型以供使用。由于这种限制，这些模型通常需要 MG-LLaVA：一种先进的多模态模型，擅长处理多种粒度的视觉输入，包括对象级特征、原始分辨率图像和高分辨率数据，该帖子首先出现在 AI Quantum Intelligence 上。
这篇文章是 AWS 中的生成式 AI 和多模式代理的后续文章：解锁金融市场新价值的关键。本博客是“资本市场和金融服务中的生成式 AI 和 AI/ML”系列的一部分。资本市场的金融分析师和研究分析师从金融和非金融数据中提取商业见解，[…]
Train fast computer vision models with slower multimodal AI | Viam
在数十亿个参数上训练的人工智能模型非常强大，但并不总是适合实时使用。了解如何使用较慢的多模态人工智能训练快速计算机视觉模型。
虽然大型语言模型 (LLM) 已显示出实现类似人类对话的前景，但它们主要是在文本数据上进行预训练的。结合音频或视频可以提高性能，但收集大规模多模态数据和预训练多模态 LLM 具有挑战性。为此，我们提出了一种融合低秩自适应 (FLoRA) 技术，该技术可以有效地调整预训练的单模态 LLM，通过低秩自适应来使用新的、以前未见过的模态。对于设备导向的语音检测，使用 FLoRA，多模态 LLM 实现了相等错误率 (EER) 相对降低 22% ......
How Multimodal AI Could Retool Global Crisis Response
2024-06-03在本文中，作者认为，随着政府领导人应对日益严重和复杂的灾难，多模式人工智能成为有效、协调的危机应对的有前景的工具。本出版物是贝尔弗中心国土安全项目教席主席 Juliette Kayyem 领导的全球危机与复原力论坛连续出版物系列的一部分。
A new era of multimodal AI with GPT-4o
在 Spring Update 活动期间，OpenAI 展示了 GPT-4®——一种独特的全能模型，集成了文本、音频和图像处理，使其能够比以往更快、更高效地工作。
Unlocking Knowledge: The Importance of Multimodal Learning
在一个信息泛滥的世界里，有效学习的关键往往在于拥抱多样性——不仅仅是内容的多样性，还有我们消费和处理信息的方式的多样性。多模式学习，即文本、视觉效果和媒体的整合，是一种强大的方法，可以利用不同的学习风格，提高理解力和记忆力。文章《解锁知识：多模式学习的重要性》首先出现在 A Pass Educational Group LLC 上。
Evaluating Multimodal Interactive Agents
在本文中，我们评估了这些现有评估指标的优点，并提出了一种称为标准化测试套件 (STS) 的新型评估方法。STS 使用从真实人机交互数据中挖掘的行为场景。
Vision Language models: towards multi-modal deep learning
回顾最先进的视觉语言模型，例如 CLIP、DALLE、ALIGN 和 SimVL
Iterate faster with Amazon Bedrock AgentCore Runtime direct code deployment
Amazon Bedrock AgentCore 是一个代理平台，用于大规模安全地构建、部署和操作有效的代理。 Amazon Bedrock AgentCore Runtime 是 Bedrock AgentCore 的完全托管服务，它提供低延迟无服务器环境来部署代理和工具。它提供会话隔离，支持多种代理框架（包括流行的开源框架），并处理多模式 [...]
Video Friday: Happy Robot Halloween!
Video Friday 是您每周精选的精彩机器人视频，由您在 IEEE Spectrum 机器人领域的朋友收集。我们还发布了未来几个月即将举行的机器人活动的每周日历。请将您的活动发送给我们以供收录。ICRA 2026：2026 年 6 月 1-5 日，维也纳享受今天的视频！伦敦大学学院祝您万圣节快乐！[伦敦大学学院]KIMLAB 祝您万圣节快乐！[动能智能机器实验室]DRAGON 实验室祝您万圣节快乐！[东京大学 DRAGON 实验室]谢谢，Moju！Agility Robotics 祝您万圣节快乐！[Agility Robotics]HEBI Robotics 祝您万圣节快乐！[HEBI
Building a high performance data and AI organization (2nd edition)
对于人工智能来说，四年就是一生。自 2021 年发布第一版研究以来，人工智能的能力一直在快速发展，而且自生成式人工智能取得突破以来，这种进步并没有放缓。例如，多模态——不仅可以处理文本信息，还可以处理音频信息的能力……
Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing
多模态模型的最新进展展示了卓越的文本引导图像编辑功能，GPT-4o 和 Nano-Banana 等系统树立了新的基准。然而，由于缺乏根据真实图像构建的大规模、高质量且可公开访问的数据集，研究界的进展仍然受到限制。我们推出 Pico-Banana-400K，这是一个用于基于指令的图像编辑的综合 400K 图像数据集。我们的数据集是通过利用 Nano-Banana 从 OpenImages 集合中的真实照片生成不同的编辑对来构建的。有何区别......
