XiaoMi-AI文件搜索系统
World File Search System模态
用于情绪识别的多模态神经生理转换器
摘要 — 理解神经功能通常需要多种模式的数据，包括电生理数据、成像技术和人口统计调查。在本文中，我们介绍了一种新颖的神经生理模型，以应对多模态数据建模的主要挑战。首先，我们通过解决可变采样率问题来避免原始信号和提取的频域特征之间的不一致问题。其次，我们通过与其他模态的“交叉注意”对模态进行编码。最后，我们利用父变换器架构的属性来模拟跨模态段之间的长距离依赖关系，并评估中间权重，以更好地了解源信号如何影响预测。我们应用多模态神经生理变换器 (MNT) 来预测现有开源数据集中的效价和唤醒。对非对齐多模态时间序列的实验表明，我们的模型在分类任务中的表现相似，在某些情况下甚至优于现有方法。此外，定性分析表明 MNT 能够模拟神经对自主活动的影响以预测唤醒。我们的架构有可能针对各种下游任务进行微调，包括 BCI 系统。
解码脑电图活动以实现多模态自然语言处理
直到最近，研究人员主要对阅读中的人类行为数据感兴趣，以了解人类认知。然而，这些人类语言处理信号也可以用于基于机器学习的自然语言处理任务。目前，将脑电图大脑活动用于此目的的研究还很大程度上尚未得到探索。在本文中，我们首次进行了大规模研究，系统地分析了脑电图大脑活动数据在改进自然语言处理任务方面的潜力，特别关注了信号的哪些特征最有益。我们提出了一种多模态机器学习架构，它可以从文本输入和脑电图特征中联合学习。我们发现将脑电图信号过滤到频带中比使用宽带信号更有益。此外，对于一系列词嵌入类型，脑电图数据可以改进二元和三元情绪分类，并且优于多个基线。对于关系检测等更复杂的任务，在我们的实验中，只有情境化的 BERT 嵌入优于基线，这提出了进一步研究的需要。最后，当训练数据有限时，EEG 数据显示出特别有前景。
人类大脑网络的多模态和多主体模块化组织
人类大脑是一个由解剖学上相互连接的大脑区域组成的复杂网络。自发神经活动受到这种结构的限制，从而产生远程神经元素活动之间的统计依赖模式。结构和功能连接之间的非平凡关系对认知、疾病、发展、学习和衰老提出了许多未解决的挑战。虽然许多研究都集中在解剖和功能网络中边缘权重之间的统计关系上，但人们对它们的模块和社区之间的依赖关系知之甚少。在这项工作中，我们研究并描述了人类大脑解剖和功能模块组织之间的关系，开发了一种新颖的多层框架，扩展了多层模块化优化的经典概念。通过同时将从不同主体估计的解剖和功能网络映射到社区中，这种方法使我们能够对大脑的模块组织进行多主体和多模态分析。在这里，我们研究了静息状态下解剖和功能模块之间的关系，找到了独特和共享的结构。所提出的框架构成了多层网络分析背景下的方法学进步，并为进一步研究临床队列、认知要求高的任务以及发展或寿命研究中的结构和功能网络组织之间的关系铺平了道路。
通过超声波和视频进行静默与模态多说话人语音识别
我们研究了从舌头的超声图像和嘴唇的视频图像中进行多说话人语音识别。我们在模态语音的图像数据上训练我们的系统，并在两种说话模式的匹配测试集上进行评估：无声语音和模态语音。我们观察到，从图像数据中进行的无声语音识别表现不如模态语音识别，这可能是因为训练和测试之间的说话模式不匹配。我们使用解决领域不匹配的技术来提高无声语音识别性能，例如 fMLLR 和无监督模型自适应。我们还从话语持续时间和发音空间大小方面分析了无声语音和模态语音的特性。为了估计发音空间，我们计算从超声舌头图像中提取的舌头样条的凸包。总体而言，我们观察到无声语音的持续时间比模态语音的持续时间长，并且无声语音比模态语音覆盖的发音空间小。尽管这两个特性在各种说话模式下都具有统计显著性，但它们与语音识别的单词错误率并不直接相关。索引词：无声语音界面、无声语音、超声舌成像、视频唇成像、发音语音识别
模态majorana球体和结构化高斯光束的隐藏对称性
简介。- 一词“结构化光”是指具有非平凡且有趣的幅度，相位和/或极化分布的光场。大量工作已致力于生产结构化的光场，从而导致了新技术的发展和改进现有技术[1,2]。也许结构化光的最著名示例对应于携带轨道角动量的梁，广泛用于从量子光学到显微镜的应用中[3,4]。当前的工作着重于所谓的结构化高斯（SG）梁的结构梁的子类[5-8]。这些对近似波方程的解决方案具有自相似的特性，这意味着它们的强度曲线在传播到缩放因子时保持不变。sg梁包括众所周知的laguerre-gauss（lg）和雌雄同体 - 高斯（HG）梁[9]，它们一直是广泛研究的主题，用于许多应用中的模态分解，例如模式分类和分量额定定位[10-13]。lg和Hg梁属于更广泛的SG梁，称为广义的Hermite-Laguerre-Gauss（HLG）模式[14,15]，可以使用适当的圆柱形透镜（Attigmatic Translions）[16]来从HG或LG梁上获得。这些模式可以表示为模态Poincar´e球的表面上的点（MPS）[17-19]，如图1。这种表示形式导致了这样的见解：这些梁可以在一系列散光转换上获得几何阶段[7,20 - 23]。HLG模式的MPS表示揭示了其固有的组结构和转换属性。这种结构的概括是将模态结构和极化混合[24]。但是，没有为无限的
DeepMNF：用于……的深度多模态神经成像框架
摘要 — 神经系统疾病（例如自闭症谱系障碍 (ASD)）的患病率日益上升，由于其症状多样，需要早期干预，尤其是在幼儿中，因此需要强大的计算机辅助诊断 (CAD)。缺乏基准神经影像学诊断为研究与 ASD 相关的大脑解剖结构和神经模式的转变铺平了道路。现有的 CAD 利用来自自闭症大脑成像数据交换 (ABIDE) 存储库的大规模基线数据集来提高诊断性能，但多站点数据的参与也会放大阻碍获得满意结果的变异性和异质性。为了解决这个问题，我们提出了一种深度多模态神经影像学框架 (DeepMNF)，该框架采用功能性磁共振成像 (fMRI) 和结构磁共振成像 (sMRI)，通过利用二维时间序列数据和三维图像来整合跨模态时空信息。目的是融合互补信息，以增加群体差异和同质性。据我们所知，我们的 DeepMNF 实现了比 ABIDE-𝟏 存储库中涉及所有可用筛选站点的数据集的最佳报告结果更好的验证性能。在这项工作中，我们还展示了单个模型中研究的模态的性能以及它们可能的组合，以开发多模态框架。
使用多模态成像特征评估脑癌图谱。
© 作者 2023。开放存取 本文根据知识共享署名 4.0 国际许可进行授权，允许以任何媒体或格式使用、共享、改编、分发和复制，只要您给予原作者和来源适当的信任，提供知识共享许可的链接，并指明是否做了更改。 本文中的图片或其他第三方资料包含在文章的知识共享许可中，除非资料的致谢中另有说明。 如果资料未包含在文章的知识共享许可中，且您的预期用途不被法定规定允许或超出允许用途，则需要直接从版权所有者处获得许可。 要查看此许可证的副本，请访问 http://creativecommons.org/licenses/by/4.0/ 。知识共享公共领域贡献豁免（http://creativeco mmons.org/publicdomain/zero/1.0/）适用于本文中提供的数据，除非数据来源中另有说明。
磁光遗传深部脑多模态神经刺激
图 1a 显示了不同形式的神经刺激通常如何用于激活或抑制神经信号（动作电位）。动作电位是细胞膜的去极化，钾和钠等离子通过离子通道穿过细胞膜，从而产生级联效应。激活和抑制都有重要的临床用途：激活可用于恢复因创伤或帕金森病等退行性神经疾病而受损的神经系统部分功能，而抑制功能可以抑制癫痫发作期间大脑的功能障碍区域等。这种控制只是假设的理想设备的众多参数之一，如图 1b 所示。它将是低功耗的，以防止设备发热并延长电池寿命（或理想情况下是无线供电，但保持足够高且可控的功率水平是一项挑战 [9] ），谨慎、无创且兼容磁共振成像 (MRI)，[10] 精确，但可远距离控制。它不会通过加热、光化学损伤或电荷积聚来损害组织。它将具有神经元选择性，并且具有易于维持的效果，但也可能
跨模态完形填空任务：脑到词解码的新任务
从非侵入性大脑活动中解码语言引起了神经科学和自然语言处理研究人员越来越多的关注。由于脑记录的噪声性质，现有的研究将脑到词的解码简化为二元分类任务，即区分脑信号是其对应的单词还是错误的单词。然而，这种成对分类任务不能促进实用神经解码器的发展，原因有二。首先，它必须枚举测试集中的所有成对组合，因此预测大词汇表中的单词效率低下。其次，完美的成对解码器无法保证直接分类的性能。为了克服这些问题并进一步实现现实的神经解码器，我们提出了一种新颖的跨模态完形填空 (CMC) 任务，即以上下文为提示，预测神经图像中编码的目标单词。此外，为了完成这项任务，我们提出了一种利用预训练语言模型来预测目标词的通用方法。为了验证我们的方法，我们对来自两个脑成像数据集的 20 多名参与者进行了实验。我们的方法在所有参与者中平均实现了 28.91% 的 top-1 准确率和 54.19% 的 top-5 准确率，远远超过了几个基线。这一结果表明我们的模型可以作为 CMC 任务的最新基线。更重要的是，它证明了从大脑神经活动中解码大词汇表中的某个单词是可行的。
通过多模态生理数据测量认知负荷
1 请注意，认知负荷不足和超负荷的概念可能具有一定的误导性，因为人类的工作记忆是有限的：认知负荷显然不能低于工作记忆的最小容量，认知负荷也不能超过工作记忆的最大容量。但是，由于这些概念直观易懂，我们有时会引用它们。