Cohere Embed multimodal embeddings model is now available on Amazon SageMaker JumpStart
Cohere Embed 多模式嵌入模型现已在 Amazon SageMaker JumpStart 上正式推出。该模型是最新的 Cohere Embed 3 模型，它现在是多模式的，能够从文本和图像生成嵌入，使企业能够从以图像形式存在的大量数据中释放真正的价值。在本文中，我们将通过一些示例讨论这种新模型的优势和功能。
Fine-tune multimodal models for vision and text use cases on Amazon SageMaker JumpStart
在本文中，我们将展示如何微调文本和视觉模型（例如 Meta Llama 3.2），以便在视觉问答任务中表现更好。Meta Llama 3.2 Vision Instruct 模型在具有挑战性的 DocVQA 视觉问答基准上表现出色。通过利用 Amazon SageMaker JumpStart 的强大功能，我们展示了调整这些生成式 AI 模型以更好地理解和回答有关图像的自然语言问题的过程。
在本文中，您将学习如何使用 Amazon Rekognition 从图像查询中提取关键对象，并使用 Amazon Bedrock 的 Amazon Titan Multimodal Embeddings 结合 Amazon OpenSearch Serverless Service 构建反向图像搜索引擎。
许多医疗保健应用本质上是多模态的，涉及多种生理信号。随着这些信号的传感器变得越来越普遍，改进多模态医疗保健数据的机器学习方法至关重要。预训练基础模型是一条有希望的成功途径。然而，在医疗保健领域开发基础模型的方法仍处于早期探索阶段，鉴于生理信号的多样性，目前尚不清楚哪种预训练策略最有效。这部分是由于多模态健康数据面临的挑战：获取许多患者的数据是……
科学服务领域的全球领导者赛默飞世尔科技公司 (Thermo Fisher Scientific Inc.) 在最近于丹麦哥本哈根举行的 2024 年欧洲显微镜大会上向满座的与会者展示了一款突破性的透射电子显微镜。作为一种完全集成的多模态分析解决方案，Thermo Scientific™ Iliad™（扫描）透射电子显微镜 (S)TEM 为科学先驱提供了有关最复杂现代材料的化学性质（直至原子级）的更深入见解……
Multimodal Data in RAG GenAI Systems: From Text to Image and Beyond
在快速发展的人工智能领域，检索增强生成 (RAG) GenAI 通过结合实时数据检索突破了生成模型的界限。 RAG 技术与生成式人工智能 (GenAI) 的融合创建了一个动态、上下文丰富的系统，可增强各个行业的内容生成。最具变革性的进步之一是整合 […]
CtrlSynth: Controllable Image-Text Synthesis for Data-Efficient Multimodal Learning
预训练稳健的视觉或多模态基础模型（例如 CLIP）依赖于大规模数据集，这些数据集可能存在噪声、可能错位且具有长尾分布。先前的研究已显示出通过生成合成样本来扩充数据集的良好结果。但是，它们仅支持特定领域的临时用例（例如，仅支持图像或文本，但不能同时支持两者），并且由于缺乏对合成过程的细粒度控制，数据多样性有限。在本文中，我们设计了一个可控的图像文本合成管道 CtrlSynth，用于数据高效且稳健的……
Watch: "World's first multi-modal biped robot" could soon be yours
你想拥有《星球大战：绝地归来》中的 AT-ST 步行机吗？那么，刚刚发布的 Tron 1 双足机器人就是第二好的选择。它比步行机小一点，而且你不能骑在里面。继续阅读类别：机器人技术、技术标签：LimX、双足机器人
Molmo öppna toppmoderna multimodala AI-modeller
Molmo 是一系列先进且开放的人工智能模型，可以同时处理多种类型的数据。这些型号的性能优于市场上许多较大的型号。与传统的多模式系统不同，Molmo 可以与物理和虚拟环境交互。这要归功于使用 Molmo 后开放的最先进的多模式 AI 模型收集的独特数据集，该模型首次出现在 AI 新闻中。
Gartner: К 2027 году 40% решений на основе генеративного ИИ станут мультимодальными
向将工作与文本、图像、音频和视频相结合的模型的过渡将改善人类与人工智能的交互。
Hands-On Imitation Learning: From Behavior Cloning to Multi-Modal Imitation Learning
最突出的模仿学习方法概述，并在网格环境中进行测试照片由 Possessed Photography 在 Unsplash 上拍摄强化学习是机器学习的一个分支，它涉及通过标量信号（奖励）的引导进行学习；与监督学习相反，监督学习需要目标变量的完整标签。一个直观的例子来解释强化学习，可以用一所有两个班级的学校来解释，这两个班级有两种类型的测试。第一节课解决了测试并获得了完全正确的答案（监督学习：SL）。第二节课解决了测试并只获得了每个问题的成绩（强化学习：RL）。在第一种情况下，学生似乎更容易学习正确的答案并记住它们。在第二节课中，任务更难，因为他们只能通过反复试验来学习。然而，它们的学习更加稳健，
在这篇文章中，我们详细介绍了我们在创建两个概念验证 (PoC) 练习方面的合作，这些练习围绕多模态机器学习进行生存分析和癌症亚型分析，使用基因组（基因表达、突变和拷贝数变异数据）和成像（组织病理学幻灯片）数据。我们提供了关于使用 Amazon SageMaker 在 AWS 上构建复杂 ML 工作流的可解释性、稳健性和最佳实践的见解。这些多模态管道正在 Genomics England 癌症队列中使用，以增强我们对癌症生物标志物和生物学的理解。
EAGLE: Exploring the Design Space for Multimodal Large Language Models with a Mixture of Encoders
准确解释复杂视觉信息的能力是多模态大型语言模型 (MLLM) 的关键重点。最近的研究表明，增强的视觉感知可显著减少幻觉并提高分辨率敏感任务（例如光学字符识别和文档分析）的性能。最近的几个 MLLM 通过利用视觉编码器的混合来实现这一点。尽管 […]EAGLE：探索使用混合编码器的多模态大型语言模型的设计空间首先出现在 Unite.AI 上。
Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
多模态大型语言模型 (MLLM) 的最新进展值得关注，然而，这些通用领域的 MLLM 往往在理解用户界面 (UI) 屏幕和与用户界面 (UI) 屏幕有效交互的能力方面存在不足。在本文中，我们介绍了 Ferret-UI，这是一种专为增强对移动 UI 屏幕的理解而量身定制的新型 MLLM，具有引用、基础和推理功能。鉴于 UI 屏幕通常具有比自然图像更长的纵横比，并且包含较小的感兴趣对象（例如图标、文本），我们在 Ferret 之上加入了“任何分辨率”以……
Multimodal courtship communication in a wolf spider
狼蛛的多模态求偶通信摘要许多动物使用多种感官模式进行通信（例如，振动、视觉、化学），目前人们对多模态信号在配偶选择中的作用很感兴趣。我们测试了以下假设：雄性 Gladicosa bellamyi 狼蛛（Lycosidae）使用多模态信号向雌性求偶，并且这些信号与雄性交配成功率有关。使用激光多普勒测振仪和摄像机，我们描述了雄性 G. bellamyi 的振动和视觉求偶信号。雄性用由三个部分组成的振动信号向雌性求偶：摩擦脉冲、腹部叩击和第三个未知的叩击元素（推测来自快速腹部敲击），以及两个独特的视觉显示，即前腿伸展/敲击和方形腿拱。雌性 G. bellamyi 没有明显的振动信号，但具有与其他雌性
在过去的几十年里，传感器、人工智能和处理能力的技术进步将机器人导航推向了新的高度。为了将机器人技术提升到一个新的水平，并使它们成为我们生活中的常规部分，许多研究建议将 ObjNav 和 VLN 的自然语言空间转移到多模态空间，以便机器人 Google DeepMind 研究人员展示了 Mobility VLA：具有长上下文 VLM 和拓扑图的多模态指令导航，首先出现在 AI Quantum Intelligence 上。
