XiaoMi-AI文件搜索系统
World File Search System模态
使用多模态信号通过预训练 Transformer 进行情绪识别
我们使用 Transformer [10] 来处理生理信号。Transformer 最初是为自然语言处理 (NLP) 任务开发的，目的是处理单词序列。鉴于生理信号是值序列，Transformer 可以适用于生理信号处理 [11]。Transformer 采用学习到的注意机制，根据上下文动态评分输入不同部分的相关性。基于注意的处理适合处理生理信号，因为根据任务和上下文，信号的某些部分可能比其他部分传达更多信息。使用 Transformer 的另一个好处是，我们可以从 BERT [12] 中描述的非常成功的预训练技术中受益，该技术是为 NLP 任务开发的，我们可以根据需要进行调整。这种预训练策略已成功应用于其他领域，如计算机视觉 [13]、语音处理 [14] 和情感计算 [15]。
伦敦东北大学全额资助网络科学博士奖学金，整合多模态数据以了解轨迹和生物标志物
总部位于英国的机构。东北大学成立于 1898 年，以其高影响力的研究而闻名，旨在解决全球问题。跨学科、体验式学习和与学术界以外的合作伙伴的联系是东北大学精神的核心。东北大学在 2022 年获得了 2.307 亿美元的外部研究资金，是公认的体验驱动终身学习的领导者。它在美国和加拿大设有校区（波士顿、北卡罗来纳州夏洛特、缅因州波特兰、加利福尼亚州奥克兰、旧金山、西雅图、硅谷、弗吉尼亚州阿灵顿、马萨诸塞州伯灵顿和纳汉特社区、多伦多和温哥华）。虽然博士学位将是英国的资格，但学生将有机会在伦敦博士研究期间参与和访问海外的东北大学网络，为他们的研究培训提供真正独特且备受追捧的维度。项目我们正在寻找一位有计算神经科学、数据科学、认知心理学或相关领域背景的积极进取的候选人，加入一个创新的博士项目，该项目涉及网络科学、机器学习和心理健康研究的交叉领域。该项目旨在开发尖端方法来整合和分析多模态数据——从认知评估和患者自我报告到神经影像和电子健康记录 (EHR)——以发现新的生物标志物并改善心理健康轨迹的分析。成功的申请者将采用自然语言处理 (NLP)、图论和先进的机器学习等技术来探索认知-情感模式和大脑连接动态，为理解心理健康建立一个统一的框架。这项跨学科研究有望推动个性化诊断和干预策略的进步。理想的候选人应该具备很强的分析和编程能力，对心理健康研究充满热情，并具有跨学科合作的能力。成功的候选人将：
nnUnetFormer：一种基于 nnUnet 和 Transformer 的多模态 MR 图像脑肿瘤分割自动方法
主要结果：我们通过 5 倍交叉验证在 BraTS 2021 数据集上评估了我们的方法，并取得了优异的性能，Dice 相似系数 (DSC) 为 0.936、0.921 和 0.872，Hausdorff 距离的第 95 百分位数 (HD95) 分别为整个肿瘤 (WT)、肿瘤核心 (TC) 和增强肿瘤 (ET) 区域的 3.96、4.57 和 10.45，在平均 DSC 和平均 HD95 方面均优于近期最先进的方法。此外，消融实验表明，将 Transformer 融合到我们改进的 nnUnet 框架中可以提高脑肿瘤分割的性能，尤其是对于 TC 区域。此外，为了验证我们方法的泛化能力，我们进一步在 FeTS 2021 数据集上进行了实验，并在 11 个看不见的机构上取得了令人满意的分割性能，其中 WT、TC 和 ET 区域的 DSC 分别为 0.912、0.872 和 0.759，HD95 分别为 6.16、8.81 和 38.50。
自监督深度学习模型是人类高级视觉皮层的更好模型：多模态和数据集训练大小的作用
。CC-BY-NC-ND 4.0 国际许可证永久有效。它以预印本形式提供（未经同行评审认证），作者/资助者已授予 bioRxiv 许可，可以在该版本中显示预印本。版权所有者于 2025 年 1 月 13 日发布了此版本。；https://doi.org/10.1101/2025.01.09.632216 doi：bioRxiv 预印本
基于 AI 的临床特征、实验室检查和胸部 CT 多模态整合可改善住院患者的 COVID-19 结果预测
娜塔莉·拉索 1.2 、萨米·阿马里 1.2 、艾米莉·舒泽努 3 、雨果·戈尔泰斯 4 、保罗·赫伦特 5 、马修·德维尔德 4 、萨默·索利曼 4 、奥利维尔·梅里尼亚克 2 , 玛丽-波琳·塔拉巴尔 4 , 让-菲利普·拉马克 1,2 , 雷米·杜波伊斯 5 , 尼古拉斯·卢瓦索 5 , 保罗·特里谢莱尔 5 , 艾蒂安·本杰巴尔 5 , 加布里埃尔·加西亚 1 , 科琳巴雷吉耶 1,2 , 曼苏里亚梅拉德 6 , Annabelle Stoclin 7 、Simon Jegou 5 、Franck Griscelli 8 、Nicolas Tetelboum 1 、Yingping Li 2,3 、Sagar Verma 3 、Matthieu Terris 3 、Tasnim Dardouri 3 、 Kavya Gupta 3 分、Ana Neacsu 3 分、Frank Chemouni 7 分、Meriem Sefta 5 分、Paul Jehanno 5 分、Imad Bousaid 9 分、Yannick Boursin 9 分、Emmanuel Planchet 9 分、Mikael Azoulay 9 ，乔斯林·达查里 5 ，法比安·布鲁波特 5 、阿德里安·冈萨雷斯 5 、奥利维尔·德阿纳 5 、让-巴蒂斯特·希拉蒂 5 、凯瑟琳·舒特 5 、让-克里斯托夫·佩斯凯 3 、雨果·塔尔博特 3 、艾洛迪·普罗尼耶 5 、吉尔斯·温里布5、托马斯·克洛泽尔（Thomas Clozel）5、法布里斯·巴莱西（Fabrice Barlesi）6、玛丽-弗朗斯·贝林（Marie-France Bellin）2.4、迈克尔·G·B·布鲁姆（Michael G. B. Blum）5*。
生成式人工智能的未来展望 1. 多模态人工智能的演进
然而，从最近的研发趋势来看，大多数挑战有可能在 2025 年左右得到克服。正在积极探索的方向是，基于大规模语言模型，集成负责语音识别、图像识别、视频分析的多个模块，并在单个AI系统内无缝处理。这样，AI 就可以通过发出指令来自动创建角色设计和动画，例如“制作一条狗追球的短视频”或“生成主角说这些台词的动画”。服务有可能甚至可以处理语音音调和视频编辑将成为现实。使用人工智能自由生成视频和音频的能力可能会彻底改变从电影制作和游戏开发到商业演示、在线教育和个人创意活动等广泛的领域。
Riemer Slart、Michelle Williams、Luis Eduardo Juarez-Orozco、Christoph Rischpler、Marc Dweck 等人。EACVI 和 EANM 关于使用 SPECT/CT、PET/CT 和心脏 CT 进行多模态心血管成像的人工智能应用的立场文件。《欧洲核医学与分子成像杂志》，2021 年，48 (5)，第 1399-1413 页。10.1007/s00259-021-05341-z。hal- 03666321
摘要 在日常临床实践中，临床医生整合可用数据以确定患者疾病或临床结果的诊断和预后概率。对于疑似或已知心血管疾病的患者，通常会执行几种解剖和功能成像技术来协助这项工作，包括冠状动脉计算机断层扫描血管造影 (CCTA) 和核心脏病学成像。正电子发射断层扫描 (PET)、单光子发射计算机断层扫描 (SPECT) 和 CT 硬件和软件的不断改进已导致诊断性能的提高以及这些成像技术在日常临床实践中的广泛应用。然而，人类解释、量化和整合这些数据集的能力是有限的。新标记的识别和机器学习 (ML) 算法的应用，
多模态可解释人工智能综述
摘要：随着计算能力的提高和海量数据集的增长，人工智能（AI）得到了迅速发展。然而，这一进步也增加了解释人工智能模型“黑箱”性质的挑战。为了解决这些问题，可解释人工智能（XAI）应运而生，它注重透明度和可解释性，以增强人类对人工智能决策过程的理解和信任。在多模态数据融合和复杂推理场景的背景下，多模态可解释人工智能（MXAI）的提出将多种模态集成在一起用于预测和解释任务。同时，大型语言模型（LLM）的出现导致了自然语言处理方面的重大突破，但它们的复杂性进一步加剧了 MXAI 的问题。为了深入了解 MXAI 方法的发展，并为构建更透明、公平和值得信赖的 AI 系统提供重要指导，我们从历史角度回顾了 MXAI 方法，并将它们分为四个时代：传统机器学习、深度学习、判别基础模型和生成式 LLM。我们还回顾了 MXAI 研究中使用的评估指标和数据集，最后讨论了未来的挑战和方向。与此评论相关的项目已在 https://github.com/ShilinSun/mxai review 上创建。
多模态NLP与人工智能：跨媒体
摘要。在人工智能飞速发展的时代，多模态自然语言处理（NLP）已成为一个至关重要的领域。本文探讨了多模态NLP在跨媒体信息理解与生成中的意义和应用。多模态NLP通过整合文本、图像、音频和视频等多种模态，旨在提高语言理解和生成的准确性和全面性。本文讨论了多模态NLP中使用的各种技术和模型，包括深度学习架构和注意力机制。本文还研究了该领域的挑战和未来方向，强调了改进人机交互和智能应用的潜力。通过案例研究和实验结果，本文证明了多模态NLP在图像字幕、视频描述生成和跨模态检索等任务中的有效性。总体而言，多模态 NLP 对于提升人工智能能力以及实现人机之间更自然、更无缝的交互具有巨大潜力。
多模态成像和人工智能在肿瘤表征中的应用：现状与未来展望
HAL 是一个多学科开放存取档案库，用于存放和传播科学研究文献，无论这些文献是否已出版。这些文献可能来自法国或国外的教学和研究机构，也可能来自公共或私人研究中心。