XiaoMi-AI文件搜索系统
World File Search System模态
端到端多模态深度学习，用于实时解码来自 1 相同细胞 2 3 Yichun He 1,2 , Arnau Marin-Llobe
端到端多模态深度学习用于实时解码来自同一细胞的长达数月的神经活动 1 2 3 何逸春 1,2 、Arnau Marin-Llobet 1,2 、盛浩 1 、刘韧 1 、刘佳 1* 4 5 1 美国马萨诸塞州波士顿哈佛大学约翰·A·保尔森工程与应用科学学院。 6 2 这些作者贡献相同。 7 * 通信电子邮件：jia_liu@seas.harvard.edu。 8 9 摘要 10 长期、稳定、实时解码来自同一细胞的行为相关神经动态对于脑机接口 (BCI) 以及理解学习、记忆和疾病进展过程中的神经进化至关重要。 11 柔性和高密度电极的最新进展实现了长期追踪所需的稳定性，但产生的大量数据集对现有分析方法提出了挑战。当前的脉冲分类方法严重依赖于人工管理，缺乏大规模实时处理的可扩展性。在这里，我们介绍了 AutoSort，这是一种基于端到端多模态深度神经网络的方法，可以实现数月内对相同神经元的实时跟踪和解码。AutoSort 使用一种可扩展的策略，通过从初始记录中学习深度表示并实时应用训练后的模型。它集成了多模态特征，包括波形特征、分布模式和推断出的神经元空间位置，以确保稳健性和准确性。AutoSort 在模拟和长期记录中的表现都优于现有方法，与传统方法相比，它仅使用 10% 的时间和 25% 的内存，从而减少了计算需求。通过将 AutoSort 与高密度柔性探针相结合，我们在 2 个月内实时跟踪运动学习和技能习得过程中的神经动态，捕捉内在神经流形漂移、稳定性和学习后表征漂移。AutoSort 为研究长期神经内在动态和实现实时 BCI 解码提供了一种有前途的解决方案。
抗噪模态参数识别与损伤...
摘要目的——地面振动测试对于飞机设计和认证至关重要。快速松弛矢量拟合 (FRVF) 和 Loewner 框架 (LF) 最近扩展到机械系统中的模态参数提取，以解决时间和频域技术的计算挑战，用于航空相关结构的损伤检测。设计/方法/方法——FRVF 和 LF 应用于数值数据集以评估噪声稳健性和损伤检测性能。还评估了计算效率。此外，它们还应用于一种新的高纵横比机翼损伤检测基准，将其性能与最先进的方法 N4SID 进行比较。结果——FRVF 和 LF 可有效检测结构变化；LF 表现出更好的噪声稳健性，而 FRVF 的计算效率更高。实际意义——建议在有噪声的测量中使用 LF。原创性/价值——据作者所知，这是首次应用 LF 和 FRVF 提取航空相关结构中的模态参数的研究。此外，还介绍了一种新型高纵横比机翼损伤检测基准。
医疗保健领域的多模态大型语言模型
在复杂而多维的医学领域，多模态数据普遍存在，对于做出明智的临床决策至关重要。多模态数据涵盖广泛的数据类型，包括医学图像（例如 MRI 和 CT 扫描）、时间序列数据（例如可穿戴设备和电子健康记录的传感器数据）、音频记录（例如心音和呼吸音以及患者访谈）、文本（例如临床笔记和研究文章）、视频（例如外科手术）和组学数据（例如基因组学和蛋白质组学）。虽然大型语言模型 (LLM) 的进步为医学领域的知识检索和处理提供了新的应用，但大多数 LLM 仍然仅限于处理单模态数据（通常是基于文本的内容），并且经常忽视整合临床实践中遇到的各种数据模态的重要性。本文旨在从详细、实用和面向解决方案的角度介绍多模态 LLM (M-LLM) 在医学领域的应用。我们的调查涵盖了 M-LLM 的基本原理、当前和潜在的应用、技术和道德挑战以及未来的研究方向。通过连接这些元素，我们旨在提供一个综合框架，将 M-LLM 的各个方面联系起来，为它们在医疗保健领域的未来提供统一的愿景。这种方法旨在指导 M-LLM 在医疗保健领域的未来研究和实际实施，将其定位为向综合、多模式数据驱动的医疗实践转变的范式转变。我们预计这项工作将引发进一步的讨论，并激发下一代医学 M-LLM 系统中创新方法的发展。
多功能细胞穿透肽，用于原代干细胞中的多模态 CRISPR 基因编辑
CRISPR 基因编辑提供了前所未有的基因组和转录组控制，可精确调节细胞功能和表型。然而，将必要的 CRISPR 成分递送至治疗相关的细胞类型且不产生细胞毒性或意外副作用仍然具有挑战性。病毒载体存在基因组整合和免疫原性的风险，而非病毒递送系统难以适应不同的 CRISPR 载体，而且许多系统具有高度的细胞毒性。精氨酸-丙氨酸-亮氨酸-丙氨酸 (RALA) 细胞穿透肽是一种两亲性肽，它通过与带负电荷的分子的静电相互作用自组装成纳米颗粒，然后将它们递送到细胞膜上。与其他非病毒方法相比，该系统已用于将 DNA、RNA 和小阴离子分子递送至原代细胞，且细胞毒性较低。鉴于 RALA 的低细胞毒性、多功能性和有竞争力的转染率，我们旨在将这种肽建立为一种新的 CRISPR 递送系统，适用于各种分子格式，适用于不同的编辑模式。我们报告称，RALA 能够有效地封装 DNA、RNA 和核糖核酸蛋白 (RNP) 格式的 CRISPR 并将其递送至原代间充质干细胞 (MSC)。RALA 与市售试剂之间的比较表明，其细胞活力更佳，可导致更多的转染细胞并维持细胞增殖能力。然后，我们使用 RALA 肽将报告基因敲入和敲除到 MSC 基因组中，以及转录激活治疗相关基因。总之，我们将 RALA 确立为一种强大的工具，可以更安全有效地以多种货物格式递送 CRISPR 机制，用于广泛的基因编辑策略。
量子多模态对比学习框架
在本文中，我们提出了一种新颖的多模态对比学习框架，利用量子编码器整合脑电图 (EEG) 和图像数据。这一开创性的尝试探索了将量子编码器整合到传统的多模态学习框架中。通过利用量子计算的独特属性，我们的方法增强了表征学习能力，为同时分析时间序列和视觉信息提供了一个强大的框架。我们证明量子编码器可以有效捕捉脑电图信号和图像特征中的复杂模式，从而促进跨模态的对比学习。这项工作为将量子计算与多模态数据分析相结合开辟了新途径，特别是在需要同时解释时间和视觉数据的应用中。
多模态心血管成像的进步
•历史排除：1950年代和60年代的沙利度胺悲剧，一种用于治疗怀孕的药物会导致严重的先天缺陷，促使美国食品药物管理局（FDA）实施严格的政策。在1977年，FDA从早期临床试验中排除了生育潜力的妇女，以保护孕妇及其未出生的婴儿。这项政策导致了妇女健康临床研究的重大数据差距。•误解和偏见：尽管男性和女性之间已知的生理，代谢和荷尔蒙差异，但仍然存在一种长期存在的误解，即药物对男性和女性都具有相同的影响。例如，相同的药物可能比男性效率较低或对女性产生更多的副作用。担心研究结果可能会因女性的激素水平波动而混淆，这也导致了女性在研究中的代表性不足。•道德和实践问题：在审判中伴随孕妇的独特道德考虑也限制了她们的参与。此外，由于与男性相比，妇女承担的家庭和育儿责任的份额更大，因此在临床试验中，女性遇到了更多实际障碍。这些障碍包括需要灵活的试用时间，育儿和旅行规定，这些障碍通常在研究设计中经常得到充分解决。•监管和资金差距：历史上缺乏对妇女健康研究的资金和监管支持无疑导致了解决特定女性特定状况或治疗反应中性别差异的研究。
用于声道建模的多模态分割
精确的声道建模对于构建可解释语音处理和语言学的发音表征是必不可少的。然而，声道建模具有挑战性，因为许多内部发音器官被外部运动捕捉技术遮挡。实时磁共振成像 (RT-MRI) 可以测量语音过程中内部发音器官的精确运动，但由于标记方法耗时且计算成本高昂，MRI 的注释数据集大小有限。我们首先使用纯视觉分割方法为 RT-MRI 视频提出一种深度标记策略。然后，我们介绍一种使用音频来改进发声器官分割的多模态算法。我们共同为 MRI 视频分割中的声道建模设定了新的基准，并利用该基准为 75 位说话者的 RT-MRI 数据集发布了标签，将声道的带标签公共 RT-MRI 数据量增加了 9 倍以上。代码和数据集标签可在 rishiraij.github.io/multimodal-mri-avatar/ 找到。索引术语：发音语音、视听感知
儿童时期的多模态神经相关性...
成分。分数越高表示症状严重程度越高 (即越差)。误差线表示自举估计的置信区间。 (c) 与 LC1 相关的显著表面积、厚度、体积载荷（自举重采样和 FDR 校正 q<0.05 后）。 (d) 与 LC1 相关的显著 RSFC 载荷（自举重采样和 FDR 校正 q<0.05 后）。RSFC 载荷经过阈值处理，因此仅显示具有显著自举 Z 分数的网络内或网络间块。网络块遵循与 17 个 Yeo 网络 (Schaefer et al., 2018; Yeo et al., 2011) 和皮层下区域 (Fischl et al., 2002) 相关的颜色。弦图总结了网络内和网络间显著的 RSFC 载荷。有关更详细的网络可视化，另请参见图 1a。DorsAttn，背侧注意力； RSFC，静息状态功能连接；SalVentAttn，显著性/腹侧注意；SomMot，躯体感觉运动；TempPar，颞顶叶。
多模态方法：如何应用同步加速器 X 射线表征及其他
研究需求和科学愿景” Yu-Chen Karen Chen- Wiegart、Iradwikanari Waluyo、Andrew Kiss、Stuart Campbell、Lin Yang、Eric Dooryhee、Jason R. Trelewicz、Yiyang Li、Bruce Gates、Mark Rivers、Kevin G. Yager 同步辐射新闻 (2020) DOI：10.1080/08940886.2020.1701380
基于多模态生理信号的跨主体情绪识别多层次解缠网络
基于多模态生理信号的情绪识别受到越来越多的关注，然而如何处理多模态生理信号的一致性和异质性，以及不同主体之间的个体差异，是跨主体情绪识别的两个重要挑战。本文提出了一种多级解缠结网络MDNet，用于基于多模态生理信号的跨主体情绪识别。具体而言，MDNet由模态级解缠结模块和主体级解缠结模块组成。模态级解缠结模块将多模态生理信号投影到模态不变子空间和模态特定子空间，捕获模态不变特征和模态特定特征。主体级解缠结模块从多模态数据中分离出不同主体间主体共享特征和主体私有特征，从而促进跨主体情绪识别。在两个多模态情感数据集上进行的实验表明，MDNet 优于其他最先进的基线。