XiaoMi-AI文件搜索系统
World File Search Systemmultimodal
胰腺发育的多模式跨物种比较
1糖尿病与再生研究研究所（IDR），赫尔姆霍尔茨·慕尼黑，Neuherberg，7德国。 8 2德国诺伊尔伯格的德国糖尿病研究中心（DZD）。 9 3计算生物学研究所（ICB），德国Neuherberg的Helmholtz慕尼黑。 10 4卢德维希·马克西米利安大学医院中风和痴呆研究所，德国慕尼黑慕尼黑大学。 12 5德国慕尼黑慕尼黑技术大学数学系。 13 6美国旧金山分校，加利福尼亚大学细胞和组织生物学系。 14 7糖尿病中心，加利福尼亚大学，美国旧金山。 15 8 Eli和Edyth的再生医学与干细胞研究中心，美国16加州大学，美国旧金山。 17 9美国辛辛那提市18号辛辛那提儿童医院医疗中心发育生物学系。 19 10干细胞和器官医学中心（习惯），辛辛那提儿童医院20医学中心，美国辛辛那提21 11 11核心设施基因组学，赫尔姆霍尔茨慕尼黑，德国诺伊尔伯格，德国。 22 12牲畜生物技术主席，分子生命科学系，生命学院23科学学院，慕尼黑技术大学，德国弗拉维斯。 24 13美国辛辛那提儿童医院医疗中心内分泌科。 25 14分子动物育种和生物技术基因中心主席，德国慕尼黑慕尼黑慕尼黑大学路德维希·马克西米利26号。 27 15创新医学模型中心（CIMM），路德维希·马克西米利安大学，德国慕尼黑28号。 32 *对33 的通信1糖尿病与再生研究研究所（IDR），赫尔姆霍尔茨·慕尼黑，Neuherberg，7德国。8 2德国诺伊尔伯格的德国糖尿病研究中心（DZD）。9 3计算生物学研究所（ICB），德国Neuherberg的Helmholtz慕尼黑。10 4卢德维希·马克西米利安大学医院中风和痴呆研究所，德国慕尼黑慕尼黑大学。12 5德国慕尼黑慕尼黑技术大学数学系。13 6美国旧金山分校，加利福尼亚大学细胞和组织生物学系。14 7糖尿病中心，加利福尼亚大学，美国旧金山。15 8 Eli和Edyth的再生医学与干细胞研究中心，美国16加州大学，美国旧金山。17 9美国辛辛那提市18号辛辛那提儿童医院医疗中心发育生物学系。19 10干细胞和器官医学中心（习惯），辛辛那提儿童医院20医学中心，美国辛辛那提21 11 11核心设施基因组学，赫尔姆霍尔茨慕尼黑，德国诺伊尔伯格，德国。22 12牲畜生物技术主席，分子生命科学系，生命学院23科学学院，慕尼黑技术大学，德国弗拉维斯。24 13美国辛辛那提儿童医院医疗中心内分泌科。25 14分子动物育种和生物技术基因中心主席，德国慕尼黑慕尼黑慕尼黑大学路德维希·马克西米利26号。 27 15创新医学模型中心（CIMM），路德维希·马克西米利安大学，德国慕尼黑28号。 32 *对33 的通信25 14分子动物育种和生物技术基因中心主席，德国慕尼黑慕尼黑慕尼黑大学路德维希·马克西米利26号。27 15创新医学模型中心（CIMM），路德维希·马克西米利安大学，德国慕尼黑28号。32 *对3329 16生命科学学院Weihenstephan，慕尼黑技术大学，德国Freising。30 17德国慕尼黑慕尼黑技术大学医学院。31 18这些作者同等贡献：汉娜·斯皮策（Hannah Spitzer）的凯牛杨（Kaiyuan Yang）。
机器人操纵任务中的多模式VAE
摘要 - 在这项工作中，我们专注于机器人操纵领域中无监督的视力 - 语言映射。最近，已经为此任务提出了采用预训练的大语言和视觉模型的多种方法。但是，它们在计算上是要求的，需要仔细对产生的输出进行微调。更轻巧的替代方法是实现多模式变量自动编码器（VAE），可以提取数据的潜在特征并将其集成到联合代码中，这主要是在现有最终模型的图像图像或图像图纸上进行的。在这里，我们探讨了是否以及如何在模拟环境中使用多模式的VAE。基于获得的结果，我们提出了一种模型不变训练替代方案，该替代方法将模拟器中的模型性能提高了55％。此外，我们系统地评估了各个任务（例如对象或机器人位置可变性，干扰器数量或任务长度）所提出的挑战。因此，我们的工作也阐明了使用当前的多模式VAE的潜在益处和局限性，以根据视觉和语言对机器人运动轨迹进行无监督学习。索引术语 - 传感器融合，视觉学习，语义场景理解
深度学习的多式联运检索
首先，我要感谢Kpalma Kidiyo教授和Zhang Lu教授接受我的博士学位。学生，这为我提供了更深入研究科学研究领域的机会。他们的专业指导和卓越的学术专业知识使我能够获得宝贵的知识，这将使我一生都受益。我要感谢Bai Cong教授在到达法国之前和之后的众多澄清，协助和指导。我感谢Wang Qiong博士在我们的研究努力中的帮助和协作。我想对CSC/UT-INSA计划的老师和同学表示感谢。我要感谢父母的无条件爱与支持。最后但并非最不重要的一点是，我要感谢我的妻子丁·阿南（Ding Anan）的陪伴和监督。她的信任是我的燃料，她的安慰是我的避难所。我还要对我九个月大的女儿表示感谢，她的每一个微笑都价值十杯即时咖啡。见证多模式领域的快速发展，尤其是在我的博士学位期间，这确实是显着的。学生研究。每天带来新的和令人兴奋的多模式算法。在起草本手稿时，我遇到了许多新兴和改变游戏的多模式作品。然而，多模式遇到了几个挑战，包括无法解释性，基础计算资源需求以及伪造传播的风险。自然，每一个新兴的学科都带来了许多挑战。需要解决这些问题，以提高多模式系统的可靠性和效率。最后，我想介绍在计算机图形快速开发时代写的书中写的两个引号[1]。
治疗目标和多模式设备干预
本文是对有效的非侵入性疗法的跨学科叙事回顾，越来越多地用于恢复慢性脊髓损伤患者的功能（SCI）。首先提出的是原发性病变正在运动的继发性损伤级联反应和治疗性发育中的亮点，以减轻急性病理生理过程。然后总结是当前调节NORAD肾功能，血清素能和多巴胺能神经递质的药理策略，以增强亚急性和慢性SCI的长凳和临床研究的恢复。上次检查的是如何全面地设计神经力学设备（即电刺激，机器人辅助，脑部计算机界面和增强的感觉反馈），以吸引传出和传播的摩托学途径以诱导基于神经泄露性的神经模式产生。新兴证据表明，人类神经肌肉骨骼系统的计算模型（即人数字双胞胎）可以用作功能化的锚固剂，以将不同的神经力学和药理干预措施整合到单一的多模态原则中。如果适当地构建该系统，可以通过协调异质生物感觉，系统输出和控制信号来网络网络优化治疗结果。总体而言，这些康复方案涉及神经调节以引起保存的上脊髓，内部和周围神经肌肉电路中有益的适应性变化，以引起神经系统改善。因此，定性地推进对脊髓神经生物学和神经力学的理论理解对于设计新方法来恢复SCI后的运动是关键的。未来的研究工作应集中于个性化组合疗法，包括药理辅助，有针对性的神经生物学和神经肌肉修复以及脑部计算机界面，这些疗法遵循多模式的神经力学原理。
促进多式联运发展工作方案...
作为一家联邦企业，GIZ 支持德国政府实现其在可持续发展国际合作领域的目标。出版方：德国国际合作机构 (GIZ) GmbH 注册办事处：德国波恩和埃施博恩 地址：北京朝阳区亮马河南街14号塔园外交办公楼2-5 邮编：100600 电话：+86-(0)10-8527 5589 传真：+86-(0)10-8527 5591 邮箱：transition-china@giz.de I www.mobility.transition-china.org 项目：中德低碳交通合作是国际气候倡议 (IKI) 的一部分，由德国联邦环境、自然保护、核安全与消费者保护部 (BMUV) 提供支持。 作者：凌宣博士 (GIZ) 邮箱：transition-china@giz.de I www.mobility.transition-china.org 版面：胡欣 (GIZ) 图片来源：Adobestock / muchmania (封面和封底) 地图此处印刷的地图仅供参考，并不构成国际法对边界和领土的承认。GIZ 不对这些地图是否完全最新、正确或完整承担任何责任。对于因使用这些地图而造成的任何直接或间接损害，我们概不负责。URL 链接 本出版物中链接的外部网站内容的责任始终由其各自的出版商承担。GIZ 明确表示与此类内容无关。北京，2022 年
电子商务的多模态情感信息分析...
电子商务发展迅速，产品促销是指电子商务如何促进消费者的消费活动，决策过程中的需求和计算复杂度是优化电子商务产品线动态定价决策亟待解决的问题。因此，在多模态情感信息识别与分析的前提下，提出了一种基于神经网络的Q学习算法模型，并研究了产品线的动态定价问题。结果表明，通过语音情感识别和图像情感识别的多模态融合，建立多模态融合模型，对消费者的情绪进行分类，并作为理解和分析市场需求的辅助资料。长短期记忆（LSTM）分类器对图像特征提取效果优异，准确率比其他同类分类器高3.92%~6.74%，图像单特征最优模型比语音单特征模型准确率高9.32%。
DeepMNF：用于……的深度多模态神经成像框架
摘要 — 神经系统疾病（例如自闭症谱系障碍 (ASD)）的患病率日益上升，由于其症状多样，需要早期干预，尤其是在幼儿中，因此需要强大的计算机辅助诊断 (CAD)。缺乏基准神经影像学诊断为研究与 ASD 相关的大脑解剖结构和神经模式的转变铺平了道路。现有的 CAD 利用来自自闭症大脑成像数据交换 (ABIDE) 存储库的大规模基线数据集来提高诊断性能，但多站点数据的参与也会放大阻碍获得满意结果的变异性和异质性。为了解决这个问题，我们提出了一种深度多模态神经影像学框架 (DeepMNF)，该框架采用功能性磁共振成像 (fMRI) 和结构磁共振成像 (sMRI)，通过利用二维时间序列数据和三维图像来整合跨模态时空信息。目的是融合互补信息，以增加群体差异和同质性。据我们所知，我们的 DeepMNF 实现了比 ABIDE-𝟏 存储库中涉及所有可用筛选站点的数据集的最佳报告结果更好的验证性能。在这项工作中，我们还展示了单个模型中研究的模态的性能以及它们可能的组合，以开发多模态框架。
用于声道建模的多模态分割
精确的声道建模对于构建可解释语音处理和语言学的发音表征是必不可少的。然而，声道建模具有挑战性，因为许多内部发音器官被外部运动捕捉技术遮挡。实时磁共振成像 (RT-MRI) 可以测量语音过程中内部发音器官的精确运动，但由于标记方法耗时且计算成本高昂，MRI 的注释数据集大小有限。我们首先使用纯视觉分割方法为 RT-MRI 视频提出一种深度标记策略。然后，我们介绍一种使用音频来改进发声器官分割的多模态算法。我们共同为 MRI 视频分割中的声道建模设定了新的基准，并利用该基准为 75 位说话者的 RT-MRI 数据集发布了标签，将声道的带标签公共 RT-MRI 数据量增加了 9 倍以上。代码和数据集标签可在 rishiraij.github.io/multimodal-mri-avatar/ 找到。索引术语：发音语音、视听感知
UMBRAE：统一多模态大脑解码
摘要。我们解决了脑驱动研究中普遍存在的挑战，从文献难以恢复准确的空间信息并且需要特定主题的模型这一观察出发。为了应对这些挑战，我们提出了 UMBRAE，一种统一的多模态脑信号解码。首先，为了从神经信号中提取实例级概念和空间细节，我们引入了一种高效的通用脑编码器进行多模态脑对齐，并从后续的多模态大语言模型 (MLLM) 中恢复多个粒度级别的对象描述。其次，我们引入了一种跨主题训练策略，将特定主题的特征映射到一个共同的特征空间。这使得模型可以在没有额外资源的情况下对多个主题进行训练，甚至比特定主题的模型产生更好的结果。此外，我们证明这支持对新主题的弱监督适应，而只需要总训练数据的一小部分。实验表明，UMBRAE 不仅在新引入的任务中取得了优异的成绩，而且在成熟的任务中也优于方法。为了评估我们的方法，我们构建了一个全面的大脑理解基准 BrainHub 并与社区分享。我们的代码和基准可以在 https://weihaox.github.io/UMBRAE 上找到。
脑成像数据的多模融合
摘要：神经影像数据通常包括多种模态，例如结构或功能磁共振成像、扩散张量成像和正电子发射断层扫描，它们为观察和分析大脑提供了多种视角。为了利用不同模态的互补表示，需要进行多模态融合以挖掘模态间和模态内信息。随着丰富信息的利用，结合多模态数据来探索健康和疾病状态下大脑的结构和功能特征正变得越来越流行。在本文中，我们首先回顾了用于融合多模态脑成像数据的广泛先进机器学习方法，大致分为无监督和监督学习策略。随后，讨论了一些代表性应用，包括它们如何帮助理解大脑区域化，如何改善行为表型和大脑衰老的预测，以及如何加速脑疾病的生物标志物探索。最后，我们讨论了一些令人兴奋的新兴趋势和重要的未来方向。总的来说，我们旨在全面概述脑成像融合方法及其成功应用，以及多尺度和大数据带来的挑战，这对开发新模型和平台提出了迫切的需求。