XiaoMi-AI文件搜索系统
World File Search System模态
整合多模态计算机感知和神经技术的伦理考量
背景：基于人工智能 (AI) 的计算机感知技术（例如数字表型和情感计算）有望通过提供更客观的情绪状态和行为测量方法，实现精准治疗、诊断和症状监测，从而将临床方法转变为精神病学及其他领域的个性化护理。同时，它们通常在非临床环境中从患者那里收集数据的被动和连续性质引发了与隐私和自决相关的伦理问题。随着计算机感知、人工智能和神经技术的并行发展使人们对主观状态有了新的认识，人们对神经数据的整合如何加剧此类担忧知之甚少。在这里，我们介绍了一项由 NCATS 资助的多地点研究的结果，该研究涉及将计算机感知转化为临床护理的伦理考虑，并将其置于神经伦理学和神经权利文献中。
在纳米结构均匀性限制之外的模态超强耦合下，在空间均匀和定量表面增强的拉曼散射
摘要：我们开发了一种底物，该基材可以实现高度敏感和空间均匀的表面增强拉曼散射（SERS）。该基材包括密集的金纳米颗粒（D-Aunps）/二氧化钛/AU膜（D-ATA）。D-ATA底物显示了AUNP和Fabry-pé腐烂纳米腔的局部表面等离子体共振（LSPR）之间的模态超肌耦合。d-ATA表现出近场强度的显着增强，与D-Aunp/ Tio 2底物相比，晶体紫（CV）的SERS信号增加了78倍。重要的是，可以获得高灵敏度和空间均匀的信号强度，而无需精确控制纳米级AUNP的形状和排列，从而实现了定量的SERS测量。此外，在超低吸附条件下（0.6 r6g分子/AUNP）在该基材上对若丹明6G（R6G）的SER测量显示出3％以内信号强度的空间变化。这些发现表明，在模态超肌耦合下的SERS信号源自具有量子相干性的多个等离激元颗粒。关键字：局部表面等离子体共振，模态超技术耦合，表面增强的拉曼散射，量子相干性，自组装
跨模态引导辅助多模态学习与双重注意用于 MRI 脑肿瘤分级
摘要 — 脑肿瘤是全球最致命的癌症之一，在儿童和老年人中非常常见。早期准确识别肿瘤类型和等级对于选择精准治疗方案起着重要作用。不同序列的磁共振成像 (MRI) 协议为临床医生提供了识别肿瘤区域的重要矛盾信息。然而，由于数据量大且脑肿瘤类型多样，人工评估既耗时又容易出错。因此，MRI 自动脑肿瘤诊断的需求尚未得到满足。我们观察到单模态模型的预测能力有限，其性能在不同模态之间差异很大，而常用的模态融合方法会引入潜在的噪声，导致性能显着下降。为了克服这些挑战，我们提出了一种新的跨模态引导辅助多模态学习，并采用双重注意来解决 MRI 脑肿瘤分级任务。为了平衡模型效率和功效之间的权衡，我们使用 ResNet Mix Convolution 作为特征提取的主干网络。此外，还应用双重注意分别捕获空间和切片维度中的语义相互依赖性。为了促进模态之间的信息交互，我们设计了一个跨模态引导辅助模块，其中主要模态在训练过程中引导其他次要模态，这可以有效地利用不同 MRI 模态的互补信息，同时减轻可能的噪声的影响。在 BraTS2018 和 BraTS2019 数据集上的实验结果证明了所提方法的有效性，其性能大大优于基于单模态的方法和几种最先进的多模态方法，在两个数据集上的 AUC 分别为 0.985 ± 0.019 和 0.966 ± 0.021。
通过解缠表示学习和区域感知对比学习进行多模态脑肿瘤分割
脑肿瘤威胁着全世界人民的生命和健康。在医学图像分析中，使用多张 MRI 图像进行自动脑肿瘤分割是一项挑战。众所周知，准确的分割依赖于有效的特征学习。现有的方法通过明确学习共享的特征表示来解决多模态 MRI 脑肿瘤分割问题。然而，这些方法无法捕捉 MRI 模态之间的关系以及不同目标肿瘤区域之间的特征相关性。在本文中，我提出了一种通过解缠结表示学习和区域感知对比学习的多模态脑肿瘤分割网络。具体而言，首先设计一个特征融合模块来学习有价值的多模态特征表示。随后，提出一种新颖的解缠结表示学习，将融合的特征表示解耦为与目标肿瘤区域相对应的多个因子。此外，还提出了对比学习来帮助网络提取与肿瘤区域相关的特征表示。最后，使用分割解码器获得分割结果。在公开数据集 BraTS 2018 和 BraTS 2019 上进行的定量和定性实验证明了所提策略的重要性，并且所提方法可以实现比其他最先进的方法更好的性能。此外，所提出的策略可以扩展到其他深度神经网络。
基于DenseNet的多模态脑肿瘤图像分割
脑肿瘤磁共振图像处理算法可以帮助医生对患者病情进行诊断和治疗，在临床医学中有着重要的应用意义。针对传统U-net网络中多模态脑肿瘤图像分割中类别不平衡以及特征融合导致有效信息特征丢失的问题，本文提出一种基于U-net与DenseNet结合的网络模型。将原网络上编码路径和解码路径的标准卷积块改进为dense块，增强特征的传递；采用二元交叉熵损失函数与Tversky系数组成的混合损失函数取代原来的单一交叉熵损失，抑制了不相关特征对分割精度的影响。与U-Net、U-Net++、PA-Net相比，本文算法的分割精度有明显提升，在WT、TC、ET的Dice系数指标上分别达到0.846、0.861、0.782。 PPV系数指标分别达到了0.849、0.883、0.786；与传统U-net网络相比，所提算法的Dice系数指标分别提高了0.8%、4.0%、1.4%，且在肿瘤核心区域和肿瘤增强区域的PPV系数指标分别提高了3%、1.2%；所提算法在肿瘤核心区域分割性能最优，其Sensitivity指标达到了0.924，具有很好的研究意义和应用价值。
MMCFormer：用于脑肿瘤分割的缺失模态补偿变换器
人类脑肿瘤，更具体地说是神经胶质瘤，是最危及生命的癌症之一，通常由神经胶质干细胞异常生长引起。实际上，磁共振成像 (MRI) 模态提供不同的对比度来阐明组织特性，提供有关大脑结构的全面信息以及检测肿瘤的潜在线索。因此，多模态 MRI 通常用于诊断脑肿瘤。然而，由于获取的模态集可能因临床部位而异，脑肿瘤研究可能会遗漏一两种 MRI 模态。为了以端到端的方式解决缺失信息，我们提出了 MMCFormer，一种新颖的缺失模态补偿网络。我们的策略建立在 3D 高效转换器块之上，并使用共同训练策略来有效地训练缺失模态网络。为了确保多尺度特征一致性，MMCFormer 在编码器的每个尺度上都使用全局上下文一致性模块。此外，为了传输特定于模态的表示，我们建议在瓶颈阶段加入辅助标记，以对完整和缺失模态路径之间的交互进行建模。最重要的是，我们包括特征一致性损失，以减少网络预测中的域差距并提高缺失模态路径的预测可靠性。在 BraTS 2018 数据集上进行的大量实验证明了我们的方法与竞争方法相比的优势。实现代码可在 GitHub 上公开获取。关键词：Transformer、缺失模态、分割、MRI、医学。
通过模态混合和深度监督进行脑部疾病诊断的多模态连接组的不完全学习
近年来，多模态脑网络研究通过刻画脑网络的多种连接类型及其内在的互补信息，大大提高了脑疾病诊断的效率。尽管多模态技术取得了令人鼓舞的性能，但大多数现有的多模态方法只能从具有完整模态的样本中学习，这浪费了大量的单模态数据。此外，大多数现有的数据插补方法仍然依赖于大量具有完整模态的样本。在本研究中，我们提出了一种模态混合数据插补方法，通过随机抽取不完整样本并将其合成为完整数据进行辅助训练。此外，为了减轻合成数据中不配对模态间互补信息的噪声，我们引入了一个具有深度监督的双边网络，以使用疾病特定信息改进和规范单模态表示。在 ADNI 数据集上的实验证明了我们提出的方法在不同完整模态样本率方面的疾病分类优势。关键词：脑连接组，不完全学习，深度监督，脑功能障碍，缺失模态
使用扩散模型增强多模态 MRI 扫描中的多发性硬化症病变分割
摘要 — 从磁共振成像 (MRI) 扫描中准确分割多发性硬化症 (MS) 病变对于临床诊断和有效治疗计划至关重要。在这项工作中，我们研究了扩散模型 (DM) 在实现 MS 病变像素分割方面的有效性。DM 显著提高了分割灵敏度，尤其是在具有细微异常的区域。我们使用来自公共数据集的磁共振体积进行了广泛的实验，涵盖了各种成像模式。我们的分析证明了 DM 如何实现与最先进技术相当的性能水平，平均 Dice 系数与现有最佳方法相当就是明证。此外，标准 DM 的一些变体在各种成像模式下都表现出稳健性，展示了其在临床环境中的多功能性。索引词 — 多发性硬化症、去噪扩散模型、病变分割、医学图像分析
基于后继表示训练的神经网络的多模态认知图
认知地图是关于大脑如何有效组织记忆并从中检索上下文的一个概念。内嗅海马复合体与情景和关系记忆处理以及空间导航密切相关，被认为通过位置和网格细胞构建认知地图。为了利用认知地图的有希望的特性，我们使用后继表示建立了一个多模态神经网络，该网络能够模拟位置细胞动态和认知地图表示。在这里，我们使用由图像和词嵌入组成的多模态输入。网络学习新输入和训练数据库之间的相似性，从而成功学习认知地图的表示。随后，网络的预测可用于从一种模态推断到另一种模态，准确率超过 90%。因此，所提出的方法可以成为改进当前 AI 系统的基石，以便更好地理解环境和物体出现的不同模态。因此，特定模态与某些遭遇的关联可以在新情况下导致情境感知，当发生具有较少信息的类似遭遇时，可以从学习到的认知图中推断出更多信息。认知图，以大脑中的内嗅海马复合体为代表，组织和检索记忆中的情境，这表明像 ChatGPT 这样的大型语言模型 (LLM) 可以利用类似的架构来充当高级处理中心，类似于海马体在皮层层次结构中的运作方式。最后，通过利用多模态输入，LLM 可以潜在地弥合不同形式数据（如图像和文字）之间的差距，为情境感知和通过学习到的关联来扎根抽象概念铺平道路，解决人工智能中的基础问题。
基于深度学习的多模态肿瘤分割方法：叙述性综述
准确地描绘肿瘤形状，使得多模态成像在肿瘤分割任务中具有优势（2,3）。例如，在脑胶质瘤的分割中，四个 MRI 序列 T1、T2、T1ce 和液体衰减反转恢复 (FLAIR) 提供了关于脑内肿瘤形状和其他病变结构的互补信息（4,5）。同样，在头颈部肿瘤分割中，PET 和 CT 图像可以提供有关肿瘤位置和轮廓的附加信息（6）。手动肿瘤分割是计算机辅助诊断 (CAD) 系统中常用的技术，但由于医生经验的主观性，它具有局限性，可能导致偏差，并且耗时耗力（7）。因此，准确的自动分割至关重要。近年来，深度学习 (DL) 技术，例如卷积神经网络 (CNN)，已广泛应用于大脑 (8)、头颈部 (9) 和肺部 (10) 等各个身体部位的多模态肿瘤分割任务。这些技术的基本思想是从训练数据中学习肿瘤特征，自动分割未知数据中的肿瘤，从而降低人工分割成本，提高分割精度。基于多模态深度学习的肿瘤分割算法已成为一种流行趋势，并因实现肿瘤的精准分割而受到越来越多的关注。本研究对多模态肿瘤分割的深度学习算法进行了全面的概述，包括公开数据集、评估方法、分割网络、常用技术以及各种多模态数据融合方法下的评估指标分析。来自公开挑战赛（https://grand-challenge.org）的基准数据集可以验证肿瘤分割