XiaoMi-AI文件搜索系统
World File Search System模态数据
大脑图像合成，无监督的多元规范CSCL4NET
神经科学的最新进展强调了多模式医学数据在研究某些病理和了解人类认知方面的有效性。但是，获得一组不同的模态的完整集受到各种因素的限制，例如长期获取时间，高检查成本和伪影抑制。此外，神经影像数据的复杂性，高维度和异源性仍然是有效地利用现有随机扫描的另一个关键挑战，因为不同机器通常对相同方式的数据进行了不同的测量。显然需要超越传统成像依赖性过程，并从源中综合解剖学特定的目标模式数据。在本文中，我们建议学习使用新型CSCℓ4NET跨内部和模式内变化的专用特征。通过特征图和多元典范适应性中的模态数据的初始统一，CSCℓ4净4净促进了特征级别的相互转换。正定的riemannian歧管 - 惩罚数据限制项进一步使CSCℓ4NET可以根据变换的特征重新构建缺失测量值。最后，最大化ℓ4 -norm沸腾到计算上有效的优化问题。具有较大的实验可以验证我们的CSCℓ4NET的能力和鲁棒性与Multiple数据集中的最新方法相比。
MMTOM-QA：心灵的多模式理论问题回答
心理理论（汤姆）是掩盖人民精神状态的能力，是开发具有人类社会智力的机器的必要意义。最近的机器学习模型，尤其是大型语言模型，似乎显示了汤姆·不明智的某些方面。但是，现有的Tom Bench- Marks使用单峰数据集 - 视频或文本。人类汤姆不仅仅是视频或文字理解。peo-ple可以灵活地理解他人的思想，这些思想基于从任何可用数据中提取的概念表示（例如目标，信念，计划）。为了解决这个问题，我们介绍了一种思想问题问题回答（MMTOM-QA）基准。MMTOM-QA在多模式数据和各种单模式数据上对机器在房屋环境中的活动进行多种模态数据进行评估。对于工程师多模式的tom容量，我们提出了一种新颖的方法，即双层（贝叶斯逆计划通过语言模型加速）。BIP-ALM从多模式数据中提取统一表示形式，并利用语言模型进行可扩展的贝叶斯逆计划。我们对包括GPT-4在内的人类绩效，BIP-ALM和最新模型进行了系统的比较。实验表明，大型语言模型和大型多模型仍然缺乏强大的TOM容量。BIP-ALM通过利用基于模型的Mental推断和语言模型的力量来显示出令人鼓舞的结果。1
细胞系多组学和药物筛选数据的统计整合
数据集成方法用于获得多个数据集的统一摘要。对于多模态数据，我们提出了一种计算工作流程来联合分析来自细胞系的数据集。该工作流程包括一种用于组学数据的新型概率数据集成方法，称为 POPLS-DA。该工作流程的动机是对突触核蛋白病的研究，其中在受影响的 LUHMES 细胞系和对照中测量转录组学、蛋白质组学和药物筛选数据。目的是突出显示与突触核蛋白病有关的潜在可用药途径和基因。首先，使用 POPLS-DA 优先考虑最能区分病例和对照的基因和蛋白质。对于这些基因，构建了一个集成的相互作用网络，其中药物筛选数据被纳入网络中以突出显示可用药的基因和途径。最后进行功能富集分析以识别保护性药物靶向的突触和溶酶体相关基因和蛋白质簇。我们发现，热休克蛋白 70 家族成员 HSPA5 是经过验证的药物（尤其是 AT1 阻滞剂）最常针对的基因之一。HSPA5 和 AT1 阻滞剂之前已被证实与 α-突触核蛋白病理和帕金森病有关，这显示了我们的发现的相关性。我们的计算工作流程确定了治疗突触核蛋白病的新方向。基于 R 和 markdown 的实现可在线免费获取。
认知计算在 NLP 中的作用
认知计算和自然语言处理 (NLP) 的融合代表了人工智能的革命性发展，它允许创建能够以自然而有意义的方式学习、推理和与人交流的系统。本文探讨了这些技术的融合，并强调了它们如何结合起来形成能够理解和解释人类语言的智能系统。本文介绍了 NLP 中认知计算技术的全面分类，对改善机器理解和语言生成的关键工具和技术进行了分类。本文还探讨了实际应用，特别是使用基于人工智能的高级工具来提高视障人士的可访问性，以及分析社交网络上的政治话语，这些技术可以洞察公众情绪和信息动态。尽管取得了重大成就，但仍存在一些挑战。解决包括人工智能偏见、数据隐私和社会影响在内的道德问题对于负责任的部署至关重要。语言复杂性带来了解释挑战，而多模态数据中的偏见和现实世界的部署困难则影响模型的性能和可扩展性。提出了未来的方向来克服这些挑战，通过提高模型的鲁棒性、泛化和可解释性，以及增强数据隐私和可扩展、资源高效的部署。因此，本文全面介绍了当前的进展，并概述了认知计算和 NLP 负责任和包容的未来路线图。
智能医疗的人工智能和多模态数据融合：主题建模和文献计量学
摘要 人工智能 (AI) 的进步推动了广泛的研究，旨在为智能医疗开发多种多模态数据分析方法。基于定量方法的该领域文献大规模分析很少。本研究对 2002 年至 2022 年的 683 篇文章进行了文献计量和主题建模检查，重点关注研究主题和趋势、期刊、国家/地区、机构、作者和科学合作。结果表明，首先，文章数量从 2002 年的 1 篇增加到 2022 年的 220 篇，其中大多数发表在将医疗保健和医学研究与信息技术和人工智能联系起来的跨学科期刊上。其次，研究文章数量的显着增加可以归因于非英语国家/地区学者的贡献不断增加，以及美国和印度作者的显著贡献。第三，研究人员对各种研究问题表现出浓厚的兴趣，尤其是用于脑肿瘤分析的跨模态磁共振成像 (MRI)、通过多维数据分析进行癌症预测以及医疗保健中的人工智能辅助诊断和个性化，每个主题的研究兴趣都在显著增加。目前，一种新兴趋势是将生成对抗网络和对比学习应用于多模态医学图像融合和合成，并以数据为中心利用功能性 MRI 和脑电图的组合时空分辨率。这项研究有助于增强研究人员和从业者对基于多模态数据分析的人工智能智能医疗的当前焦点和未来发展轨迹的理解。
计算机与图形
在多发性硬化症 (MS) 中，脑损伤程度、解剖位置、形状和变化是帮助医学研究人员和临床医生了解疾病时间模式的重要方面。纵向 MS 数据的交互式可视化可以支持旨在探索性分析病变和健康组织拓扑的研究。现有的可视化包括条形图和汇总指标，例如绝对数字和体积，以总结病变随时间的变化轨迹，以及体积变化等汇总指标。这些技术可以很好地用于具有双时间点比较的数据集。对于频繁的后续扫描，如果没有合适的可视化方法，很难从多模态数据中理解模式。作为一种解决方案，我们提出了一个可视化应用程序，其中我们通过适用于大型时间序列数据的交互式可视化来展示病变探索工具。除了各种体积和时间探索设施外，我们还包括一个交互式堆叠面积图，其中包含其他集成功能，可以比较病变特征，例如强度或体积变化。我们从自动病变跟踪中获取纵向可视化的输入数据。对于有大量随访的病例，我们的可视化设计可以提供有用的摘要信息，同时允许医学研究人员和临床医生研究较低粒度的特征。我们通过与领域专家的评估展示了我们的可视化在模拟数据集上的实用性。© 2022 作者。由 Elsevier Ltd. 出版。这是一篇根据 CC BY 许可开放获取的文章（http://creativecommons.org/licenses/by/4.0/）。
招聘博士后研究员
克利夫兰诊所的心血管创新研究中心 (CIRC) 由 Christopher Nguyen 博士领导，儿童和成人先天性心脏中心 (PACHC) 由 Animesh (Aashoo) Tandon 博士、医学博士、理科硕士领导，他们正在寻找对基于图像的计算建模和人工智能/机器学习在儿童、先天性和成人心血管疾病精准医疗方面感兴趣并具有相关专业知识的博士后研究员。博士后研究员将致力于开发和实施图像分析和 AI/ML 算法以用于心血管疾病的临床应用。具体来说，其中一个项目将专注于法洛四联症修复患者的心血管 MRI 数据集的形状、运动和放射组学分析。申请人还将与克利夫兰诊所-IBM 发现加速器计划合作，特别是因为它涉及成像和多/跨模态数据集中的人工智能。这一独特的职位受益于 CIRC 与儿童和成人先天性心脏中心之间的紧密联系。候选人将与技术和临床合作伙伴互动，推动患者护理朝着新的方向发展。申请人必须拥有或即将获得博士学位，并表现出出色的研究资质。成功的候选人应拥有生物医学工程、计算机科学、电气工程或相关领域的博士学位，并在医学图像分析、计算机视觉、图像配准和特征提取方面有可证明的成就记录。需要具有 Python、MATLAB 和 C++ 编程经验。
使用无线信号进行独立于主体的情绪检测的深度学习框架
使用无线信号进行情绪状态识别是一个新兴的研究领域，对人类行为和幸福感监测的神经科学研究产生了影响。目前，对立情绪检测主要依赖于从光学或摄像机获取的面部表情和/或眼球运动的分析。同时，尽管机器学习方法已被广泛用于从多模态数据中识别人类情绪，但它们大多局限于缺乏通用性的受试者相关分析。在本文中，我们报告了一项实验研究，该研究从身体的射频 (RF) 反射中收集 15 名参与者的心跳和呼吸信号，然后采用新颖的噪声过滤技术。我们提出了一种基于原始 RF 数据和处理后的 RF 信号融合的新型深度神经网络 (DNN) 架构，用于对各种情绪状态进行分类和可视化。所提出的模型对独立受试者的分类准确率高达 71.67%，准确率、召回率和 F1 值分别为 0.71、0.72 和 0.71。我们将我们的结果与五种不同的经典 ML 算法的结果进行了比较，结果表明，即使原始 RF 和后处理时间序列数据量有限，深度学习也能提供卓越的性能。通过将我们的结果与 ECG 信号的结果进行比较，深度学习模型也得到了验证。我们的结果表明，使用无线信号进行待机情绪状态检测是一种比其他技术更好的替代方案，具有较高的准确性，在未来的行为科学研究中具有更广泛的应用。
fTSPL：通过 fMRI 文本协同提示学习增强大脑分析
摘要：利用功能性磁共振成像（fMRI）构建功能连接是基于深度学习的脑分析的一个成熟范例。近年来，得益于大规模多模态预训练数据带来的显著有效性和泛化能力，视觉-语言（VL）模型在众多医疗任务中取得了优异的表现。然而，将预训练的 VL 模型应用于脑分析面临着两个重大挑战：（1）缺乏配对的 fMRI-文本数据；（2）从多模态数据构建功能连接。为了应对这些挑战，我们提出了一种 fMRI-文本协同提示学习（fTSPL）流程，该流程首次利用预训练的 VL 模型来增强脑分析。在 fTSPL 中，我们首先提出一种激活驱动的脑区文本生成 (ABTG) 方案，该方案可以自动生成描述每个 fMRI 的实例级文本，然后利用 VL 模型学习多模态 fMRI 和文本表示。我们还通过建立 fMRI 文本表示和脑区嵌入之间的相关性，提出了一种提示增强的多模态功能连接构建 (PMFCC) 方案。该方案作为即插即用的初步方案，可以连接到各种图神经网络 (GNN) 进行大脑分析。在 ABIDE 和 HCP 数据集上的实验表明，我们的流程在脑分类和预测任务上的表现优于最先进的方法。代码可在 https://github.com/CUHK-AIM-Group/fTSPL 获得。
来自细胞系的多组学和药物筛选数据的统计整合
数据集成方法用于获得多个数据集的统一摘要。对于多模态数据，我们提出了一种计算工作流程来联合分析来自细胞系的数据集。该工作流程包括一种用于多组学数据的新型概率数据集成方法，称为 POPLS-DA。该工作流程的动机是对突触核蛋白病的研究，其中在受影响的 LUHMES 细胞系和对照中测量转录组学、蛋白质组学和药物筛选数据。目的是突出显示与突触核蛋白病有关的潜在可用药途径和基因。首先，使用 POPLS-DA 优先考虑最能区分病例和对照的基因和蛋白质。对于这些基因，构建了一个集成的相互作用网络，其中结合了药物筛选数据以突出显示网络中的可用药基因和途径。最后，进行功能富集分析以识别保护性药物靶向的突触和溶酶体相关基因和蛋白质簇。将 POPLS-DA 与其他单组学和多组学方法进行了比较。我们发现，热休克蛋白 70 家族成员 HSPA5 是经过验证的药物（尤其是 AT1 阻滞剂）最常针对的基因之一。HSPA5 和 AT1 阻滞剂之前已被证实与 α-突触核蛋白病理和帕金森病有关，这表明我们的发现具有相关性。我们的计算工作流程确定了治疗突触核蛋白病的新方向。与其他单组学和多组学方法相比，POPLS-DA 提供了更大的可解释基因集。基于 R 和 markdown 的实现可在线免费获取。