Matrix3D: Large Photogrammetry Model All-in-One
我们提出了Matrix3d，这是一种执行多个摄影测量子任务的统一模型，包括使用相同的模型使用姿势估计，深度预测和新型视图合成。 MATRIX3D利用多模式扩散变压器（DIT）来整合几种模态的转换，例如图像，相机参数和深度图。 MATRIX3D大规模多模式训练的关键在于结合面具学习策略。即使有部分完整的数据，例如图像置态和图像深度对的双模式数据也可以实现全模式模型训练……
Supercharge your LLM performance with Amazon SageMaker Large Model Inference container v15
今天，我们很高兴地宣布，由VLLM 0.8.4驱动的Amazon Sagemaker大型推理（LMI）容器V15的推出，并支持VLLM V1发动机。该版本引入了显着的性能提高，扩展的模型兼容性与多模态（即能够理解和分析文本到文本，图像到文本和文本映射数据），并与VLLM提供内置的集成，以帮助您无人接缝和最高绩效的大型性能（LLMS）具有最高的性能。
Controlling Language and Diffusion Models by Transporting Activations
大型生成模型变得越来越有能力，并且更广泛地部署到电力生产应用程序中，但是让这些模型确切地产生所需的东西仍然具有挑战性。对这些模型的输出的细粒度控制对于满足用户的期望和减轻潜在的滥用非常重要，从而确保了模型的可靠性和安全性。为了解决这些问题，Apple Machine Learning研究人员开发了一种新技术，该技术具有模态性敏捷性，并通过可忽略的计算开销对模型的行为进行了精细的控制，而…
Academic freedom in the US is under threat – universities of the world, unite! | Andrew Graham
在假新闻，错误信息或彻底的西方学术界，我们不能保持中立，一切始于哲学。从那以后，尤其是自17世纪的启蒙运动和科学革命以来，一直存在一个漫长而离心的过程，纪律之后的纪律使其独特的贡献并标出了其方法及其询问领域。拉斐尔（Raphael）的绘画雅典学校（The Athens of Athens）完美地展现了这一点，其中两个伟大的哲学家柏拉图和亚里士多德（Aristotle）位于中心。然而，即使在这里，拉斐尔也指出了即将爆炸的知识的专业化。柏拉图向上指向，象征着他对形而上学的永恒感的兴趣。亚里士多德（Aristotle）向下举起手势，强调了他对经验的兴趣。大学的学生和研究人员专注于单一的子分支，例如模
Repurposing Protein Folding Models for Generation with Latent Diffusion
格子是一种多模式生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质1D序列和3D结构。授予2024年诺贝尔奖对Alphafold2的授予标志着AI在生物学中的作用的重要时刻。蛋白质折叠后接下来会发生什么？在格子中，我们开发了一种方法，该方法学会从蛋白质折叠模型的潜在空间进行采样以生成新的蛋白质。它可以接受组成功能和有机体提示，并且可以在序列数据库上进行训练，该数据库比结构数据库大2-4个数量级。与许多以前的蛋白质结构生成模型不同，格子解决了多模式的共同生成问题设置：同时产生离散序列和连续的全部原子结构坐标。从结构预测到现实世界的近期著作，这表明了范围的限制，这些模型仍然存在于现实世
在本文中，我们展示了 OfferUp 如何使用 Amazon Titan Multimodal Embeddings 和 OpenSearch Service 转变其基础搜索架构，从而显著提高用户参与度、提高搜索质量并为用户提供使用文本和图像进行搜索的能力。OfferUp 选择 Amazon Titan Multimodal Embeddings 和 Amazon OpenSearch Service 是因为它们具有完全托管的功能，能够开发出具有高准确度的强大多模态搜索解决方案，并加快搜索和推荐用例的上市时间。
IEEE Transactions on Emerging Topics in Computational Intelligence Volume 9, Issue 1, February 2025
1) 深度学习的人机交互检测综述作者：Geng Han, Jiachen Zhao, Lele Zhang, Fang Deng页数：3 - 262) 探索神经网络元学习的前景：最新技术综述作者：Asit Barman, Swalpa Kumar Roy, Swagatam Das, Paramartha Dutta页数：27 - 423) 具有知识迁移的微多目标进化算法作者：Hu Peng, Zhongtian Luo, Tian Fang, Qingfu Zhang页数：43 - 564) MoAR-CNN：用于 SAR 图像分类的多目标对抗性鲁棒卷积神经网络作者：Hai-Nan We
Optimizing Inference in the Age of Open-Source Innovation
探索十个多模态数据集和基准的主要特征，以评估多模态模型的性能。
IEEE Transactions on Fuzzy Systems, Volume 33, Issue 1, January 2025
1) 模糊深度神经网络学习在情绪分析中的特邀编辑专题作者：Gautam Srivastava、Chun-Wei Lin页数：1 - 22) Fcdnet：基于模糊认知的多模态情绪分析动态融合网络作者：Shuai Liu、Zhe Luo、Weina Fu页数：3 - 143) 多模态情绪分析的联合客观和主观模糊性去噪作者：Xun Jiang、Xing Xu、Huimin Lu、Lianghua He、Heng Tao Shen页数：15 - 274) 使用模糊深度神经网络学习探索情绪分析的多模态多尺度特征作者：Xin Wang、Jianhui Lyu、Byung-Gyu Kim、B. D. Pa
The Transformative Role of Multimodal AI in Media Search and User Experiences
媒体行业正在经历一场深刻的变革，这得益于人工智能的进步。其中，多模态人工智能因其处理和组合多种数据类型（文本、图像、音频和视频）的能力而脱颖而出，从而提供更有意义的见解和结果。阅读更多文章《多模态人工智能在媒体搜索和用户体验中的变革性作用》首先出现在 Fusemachines 上。
Mapping Cells Through Time and Space With Moscot
单细胞基因组学技术能够在时间和空间维度上对数百万个细胞进行多模态分析。实验限制阻碍了在其原生时间动态或空间组织环境中测量包罗万象的细胞状态。最佳传输理论已成为克服此类限制的有力工具，能够恢复原始细胞环境。然而，目前大多数可用的算法实现都没有跟上数据集复杂性不断增加的步伐，因此当前的方法无法结合多模式……
Cooking Up Narrative Consistency for Long Video Generation
最近公开发布的 Hunyuan Video 生成 AI 模型加剧了有关大型多模态视觉语言模型有朝一日制作整部电影的潜力的持续讨论。然而，正如我们所观察到的，由于多种原因，目前这还是一个非常遥远的前景。其中一个原因是注意力窗口非常短 […] 文章《为长视频生成制作叙事一致性》首先出现在 Unite.AI 上。
IEEE Transactions on Games, Volume 16, Issue 4, December 2024
1) 特邀社论：以人为本的人工智能在游戏评估中的特别专题作者：Alena Denisova、Diego Perez-Liebana、Vanessa Volz、Julian Frommel、Sahar Asadi页数：742 - 7452) 基于视频的游戏主播参与度评估：一种可解释的多模态神经网络方法作者：Sicheng Pan、Gary J. W. Xu、Kun Guo、Seop Hyeong Park、Hongliang Ding页数：746 - 7573) 类魂游戏中的文化洞察：在多元文化背景下分析玩家行为、观点和情感作者：Sicheng Pan、Gary J. W. Xu、Kun Guo
Gemini 2.0: Google’s Bold Challenge to OpenAI
重要性：Gemini 2.0：谷歌以多模态功能和符合道德的先进生成式 AI 工具向 OpenAI 发起大胆挑战。
Google’s new Project Astra could be generative AI’s killer app
Google DeepMind 宣布了一系列令人印象深刻的新产品和原型，这些产品和原型可能会让它在将生成式人工智能转变为大众市场关注的竞争中重新夺回领先地位。Gemini 2.0 是 Google DeepMind 多模态大型语言模型系列的最新版本，现在已围绕……进行了重新设计
Talk to your slide deck using multimodal foundation models on Amazon Bedrock – Part 3
在本系列的第 1 部分和第 2 部分中，我们探讨了使用多模态 FM 功能的方法，例如 Amazon Titan 多模态嵌入、Amazon Titan 文本嵌入和 Anthropic 的 Claude 3 Sonnet。在本文中，我们从准确性和定价的角度比较了这些方法。
Rhinogobius jangshiensisI-S. Chen, K.-Y. Chen & Wang, 2024 漳溪吻鰕虎 || DOI: doi.org/10.11646/zootaxa.5550.1.37摘要在福建省南部漳溪河流域采集到了Rhnogobius Gill, 1859 属的淡水鰕虎新种。Rhinogobius jangshiensis 新种可以通过其特定的体色和碎片特征与其他同类很好地区分开来：（1）鳍条：第二背鳍鳍条I/8；臀鳍鳍条I/7；胸鳍鳍条模态17；（2）鳞片：纵鳞列28–30（模态29）；背上鳞9–10（模态9）；脊椎骨数 27；（3）特异性的体色图案：雄鱼颊
Towards Time-Series Reasoning with LLMs
多模态大型语言模型 (MLLM) 已在视觉等领域的理解和推理方面取得了许多进展，但我们尚未看到时间序列取得如此广泛的成功。尽管之前对时间序列 MLLM 的研究在时间序列预测中表现出色，但很少有研究展示 LLM 如何用于自然语言的时间序列推理。我们提出了一种新颖的多模态时间序列 LLM 方法，该方法可以学习跨各个领域的可推广信息，并具有强大的零样本性能。首先，我们在… 之上训练一个轻量级时间序列编码器
