XiaoMi-AI文件搜索系统
World File Search System模态数据
伦敦东北大学全额资助网络科学博士奖学金，整合多模态数据以了解轨迹和生物标志物
总部位于英国的机构。东北大学成立于 1898 年，以其高影响力的研究而闻名，旨在解决全球问题。跨学科、体验式学习和与学术界以外的合作伙伴的联系是东北大学精神的核心。东北大学在 2022 年获得了 2.307 亿美元的外部研究资金，是公认的体验驱动终身学习的领导者。它在美国和加拿大设有校区（波士顿、北卡罗来纳州夏洛特、缅因州波特兰、加利福尼亚州奥克兰、旧金山、西雅图、硅谷、弗吉尼亚州阿灵顿、马萨诸塞州伯灵顿和纳汉特社区、多伦多和温哥华）。虽然博士学位将是英国的资格，但学生将有机会在伦敦博士研究期间参与和访问海外的东北大学网络，为他们的研究培训提供真正独特且备受追捧的维度。项目我们正在寻找一位有计算神经科学、数据科学、认知心理学或相关领域背景的积极进取的候选人，加入一个创新的博士项目，该项目涉及网络科学、机器学习和心理健康研究的交叉领域。该项目旨在开发尖端方法来整合和分析多模态数据——从认知评估和患者自我报告到神经影像和电子健康记录 (EHR)——以发现新的生物标志物并改善心理健康轨迹的分析。成功的申请者将采用自然语言处理 (NLP)、图论和先进的机器学习等技术来探索认知-情感模式和大脑连接动态，为理解心理健康建立一个统一的框架。这项跨学科研究有望推动个性化诊断和干预策略的进步。理想的候选人应该具备很强的分析和编程能力，对心理健康研究充满热情，并具有跨学科合作的能力。成功的候选人将：
基于深度学习的多模态数据糖尿病视网膜病变检测方法
摘要 — 糖尿病视网膜病变 (DR) 是一种复杂的疾病，结合来自患者病史、实验室结果或基因数据等多种来源的信息可以增进理解。眼科医生或自动化系统可以通过人工检查识别 DR。由于其成本效益和时间效率，糖尿病视网膜病变的自动检测已成为患者和医疗保健提供者的首选。这项研究的新颖之处在于开发了一种使用多模态数据融合预测糖尿病视网膜病变的模型，通过在长短期记忆 (LSTM) 网络中实现的早期融合技术，结合眼底视网膜图像、光学相干断层扫描 (OCT) 和电子健康记录 (EHR)。我们的模型利用多模态数据与局部二值模式 (LBP) 的早期融合，已展示出最佳性能，实现 AUC 值 0.99。这种高精度表明，整合来自各种数据源的信息可以显著提高模型检测糖尿病视网膜病变阳性和阴性病例的能力，从而增强我们对研究结果的可靠性的信心。
优化生理自适应 VR 系统的视觉复杂性：使用 EDA、ECG 和 EEG 特征评估多模态数据集
生理自适应虚拟现实系统根据用户的生理信号动态调整虚拟内容，以增强交互并实现特定目标。然而，由于不同用户的认知状态可能影响多变量生理模式，自适应系统需要进行多模态评估，以研究输入生理特征与目标状态之间的关系，从而实现高效的用户建模。在这里，我们研究了一个多模态数据集（EEG、ECG 和 EDA），同时与两个不同的自适应系统交互，根据 EDA 调整环境视觉复杂性。视觉复杂性的增加导致 alpha 功率和 alpha-theta 比率的增加，反映出精神疲劳和工作量增加。同时，EDA 表现出明显的动态变化，紧张和相位成分增加。整合多模态生理测量进行适应性评估，加深了我们对系统适应对用户生理影响的理解，使我们能够解释它并改进自适应系统设计和优化算法。
智能医疗的人工智能和多模态数据融合：主题建模和文献计量学
摘要 人工智能 (AI) 的进步推动了广泛的研究，旨在为智能医疗开发多种多模态数据分析方法。基于定量方法的该领域文献大规模分析很少。本研究对 2002 年至 2022 年的 683 篇文章进行了文献计量和主题建模检查，重点关注研究主题和趋势、期刊、国家/地区、机构、作者和科学合作。结果表明，首先，文章数量从 2002 年的 1 篇增加到 2022 年的 220 篇，其中大多数发表在将医疗保健和医学研究与信息技术和人工智能联系起来的跨学科期刊上。其次，研究文章数量的显着增加可以归因于非英语国家/地区学者的贡献不断增加，以及美国和印度作者的显著贡献。第三，研究人员对各种研究问题表现出浓厚的兴趣，尤其是用于脑肿瘤分析的跨模态磁共振成像 (MRI)、通过多维数据分析进行癌症预测以及医疗保健中的人工智能辅助诊断和个性化，每个主题的研究兴趣都在显著增加。目前，一种新兴趋势是将生成对抗网络和对比学习应用于多模态医学图像融合和合成，并以数据为中心利用功能性 MRI 和脑电图的组合时空分辨率。这项研究有助于增强研究人员和从业者对基于多模态数据分析的人工智能智能医疗的当前焦点和未来发展轨迹的理解。
多模态数据融合在增强人机交互中的应用...
摘要 — 人机交互已经存在了几十年，每天都有新的应用出现。尚待实现的主要目标之一是设计一种类似于人与人之间交互的交互。因此，需要开发能够复制更真实、更轻松的人机交互的交互系统。另一方面，开发人员和研究人员需要了解用于实现这一目标的尖端技术。这些系统可以与人工智能相结合，以做出准确的行动或决策。运动跟踪器、虚拟现实耳机等系统都利用人工智能来减少误差幅度，并从设备中获得最佳输出。拥有一个不仅能够接受用户输入而且能够理解这些数据的系统将人机交互提升到一个新的水平。我们提出这项调查是为了向研究人员提供使用多种输入实现的最先进的数据融合技术，以完成工业 4.0 应用中使用的机器人应用领域的任务。此外，输入数据模式大致分为单模态和多模态系统，它们应用于包括医疗保健行业在内的众多行业，有助于医疗行业的未来发展。它将帮助专业人员使用不同的模式检查患者。多模态系统通过所使用的输入组合来区分
利用深度学习实现成人和儿童脑肿瘤的多模态数据融合
摘要 深度学习在成像和基因组学中的引入显著推动了生物医学数据的分析。对于癌症等复杂疾病，不同的数据模式可能揭示不同的疾病特征，而将成像与基因组数据相结合，有可能比单独使用这些数据源时揭示更多信息。在这里，我们提出了一个深度学习框架，通过将组织病理学图像与基因表达谱相结合，可以预测脑肿瘤的预后。使用两个独立的队列（783 个成人脑肿瘤和 305 个儿童脑肿瘤），开发的多模态数据模型与单一数据模型相比获得了更好的预测结果，同时也识别出了更相关的生物学途径。重要的是，当在第三个独立的脑肿瘤数据集上测试我们的成人模型时，我们表明我们的多模态框架能够泛化并在来自不同队列的新数据上表现更好。此外，利用迁移学习的概念，我们展示了如何使用针对儿童胶质瘤进行预训练的多模态模型来预测两种更罕见（样本较少）的儿童脑肿瘤（即室管膜瘤和髓母细胞瘤）的预后。总而言之，我们的研究表明，可以成功实施和定制多模态数据融合方法，以模拟成人和儿童脑肿瘤的临床结果。
生物医学数据科学年度回顾：整合多模态数据以解读脑部疾病
人类大脑在正常和疾病状态下积累的大量多模态数据为理解大脑疾病发生的原因和方式提供了前所未有的机会。与传统的单一数据集分析相比，涵盖不同类型数据（即基因组学、转录组学、成像等）的多模态数据集的整合为从微观和宏观层面揭示大脑疾病的潜在机制提供了更详细的信息。在本综述中，我们首先简要介绍流行的大型大脑数据集。然后，我们详细讨论了如何整合多模态人脑数据集来揭示大脑疾病的遗传倾向和异常的分子通路。最后，我们展望了未来的数据整合工作将如何促进大脑疾病的诊断和治疗。
使用多模态数据预测学习者在自适应评估中的努力行为
除了所需的知识之外，还有许多因素影响学习者在某项活动上的表现。学习者在任务上的努力被认为与他们的教育成果密切相关，反映了他们参与该活动的积极性。然而，努力不是直接可观察到的。多模态数据可以提供对学习过程的额外见解，并可能允许努力估计。本文提出了一种在自适应评估环境中对努力进行分类的方法。具体来说，在自适应自我评估活动期间，使用日志和生理数据（即眼动追踪、脑电图、腕带和面部表情）捕捉了 32 名学生的行为。我们对多模态数据应用 k 均值来聚类学生的行为模式。接下来，我们根据发现的行为模式，使用隐马尔可夫模型 (HMM) 和维特比算法的组合，预测学生完成即将到来的任务的努力。我们还将结果与其他最先进的分类算法（SVM、随机森林）进行了比较。我们的研究结果表明，HMM 可以比其他方法更有效地编码努力与行为之间的关系（由多模态数据捕获）。最重要的是，该方法的实际意义在于，通过建立行为之间的关系，派生出的 HMM 还可以精确定位向学习者实时提供预防/规范反馈的时刻