XiaoMi-AI文件搜索系统
World File Search Systemmultimodal
让人工智能在多模式和医疗保健场景中值得信赖
事实证明，人工智能 (AI) 能够有效地支持决策过程 [1]，尤其是深度学习技术已经取得了最先进的性能 [2]。尽管在多个应用中取得了令人印象深刻的预测精度，但仍然需要解释所提出的学习模型的决策。因此，可解释人工智能 (XAI) 引起了科学界越来越多的兴趣 [3、4、5]，因为深度神经网络等模型的复杂性使得用户无法理解和验证决策过程。XAI 旨在深入了解这些系统的行为和过程，确保算法的公平性，识别训练数据中的任何潜在偏差，并使复杂的 AI 模型对人类更加透明和易于理解 [5]。在有关 XAI 的文献越来越多的情况下，我们实验室正致力于三个问题。第一个问题涉及处理时间序列 (TS) 数据的深度学习 (DL) 模型的可解释性。事实上，存储和注册数据的能力不断提高，增加了时间数据集的数量，提高了对 TS 分类模型的关注，并提出了解释其决策的必要性。在此背景下，我们介绍了三种 XAI 方法在现实世界中对远程信息数据进行异常检测的多模态任务中的应用和评估。我们应对了挑战
事物数据，大规模数据集的多模式集合......
摘要 要理解物体表征，需要对视觉世界中的物体进行广泛、全面的采样，并对大脑活动和行为进行密集测量。在这里，我们展示了 THINGS-data，这是一个多模态的人类大规模神经成像和行为数据集集合，包括密集采样的功能性 MRI 和脑磁图记录，以及针对多达 1,854 个物体概念的数千张照片的 470 万个相似性判断。THINGS-data 的独特之处在于其丰富的注释对象范围，允许大规模测试无数假设，同时评估先前发现的可重复性。除了每个单独的数据集承诺的独特见解之外，THINGS-data 的多模态性还允许组合数据集，从而比以前更广泛地了解物体处理。我们的分析证明了数据集的高质量，并提供了五个假设驱动和数据驱动的应用程序示例。 THINGS-data 是 THINGS 计划 ( https://things-initiative.org ) 的核心公开发布版本，旨在弥合学科之间的差距和认知神经科学的进步。
引用：Kobayashi M，Katayama M，Hayashi T等。通过Artifici
通过人工智能（AI）进行定量分析的抽象目标（AI）在一家急诊护理医院的医生在多模式综合护理沟通技巧培训计划之后的老年医院的沟通技巧，并定性地探索该培训计划的教育益处。设计了一项收敛的混合方法研究，包括一项具有准实验设计的干预试验，以定量分析医生的沟通技巧。定性数据是通过医师对培训后管理的开放式问卷的回答收集的。设置急诊医院。参与者共有23位医生。在4周的多模式综合护理沟通技巧培训计划中进行干预，包括视频讲座和床边教学，从5月到2021年10月，所有参与者在培训前后的相同情况下检查了模拟患者。这些检查是通过眼睛跟踪摄像头和两个固定摄像机录制的视频。然后，AI分析了视频的沟通技巧。主要结果衡量主要结果是与模拟患者的医师眼神交流，言语表达，身体触摸和多模式沟通技巧。次要结果是医生的同理心和倦怠分数。导致参与者单峰和多模式类型的通信持续时间的比例显着增加（p <0.001）。训练后的平均同理心分数和个人成就倦怠分数也大大提高。我们根据训练医生的角度训练后的六个类别开发了一种学习周期模型：多模式综合护理沟通技巧培训；对老年患者状况的变化的认识和敏感性提高；临床管理的变化；专业精神；团队建设和个人成就。结论我们的研究表明，多模式综合护理沟通技巧培训医生增加了所花费的时间
开发用于远程生理监测的多模生物传感器
摘要 简介 英国的几次军事探险已经成功使用生理传感器来监测参与者对恶劣环境条件的生理反应。本文介绍了一种多模式可穿戴生物传感器的开发和试验，该传感器用于首次全女性无人协助的南极大陆滑雪穿越。该项目成功地将远程实时生理数据传回英国。从人体工程学和技术经验中吸取的教训为未来的可穿戴设备提供了建议。 方法 生物传感器设备设计为可持续贴在皮肤上并捕获：心率、心电图、体表温度、生物阻抗、汗液 pH 值、钠、乳酸和葡萄糖。数据通过近场技术从设备传输到安卓智能手机。安卓智能手机上运行的定制应用程序使用市售的卫星收发器将数据安全传输到英国研究中心。 结果 多模式设备捕获的实时生理数据成功传回英国研究控制中心 6 次。参与者的远征后反馈有助于改进下一代设备的人体工程学和技术。结论可穿戴技术未来的成功取决于建立临床对测量数据质量的信心，以及在个人、环境和所从事活动的背景下对这些数据的准确解释。在不久的将来，可穿戴生理监测可以提高即时诊断的准确性，并为关键的医疗和指挥决策提供信息。
适用于啮齿动物、非人类灵长类动物和人类的多模态 MRI 数据的通用脑提取网络 (BEN)
摘要 准确提取磁共振成像 (MRI) 数据中的脑组织对于分析大脑结构和功能至关重要。虽然已经优化了几种常规工具来处理人脑数据，但目前还没有可推广的方法来提取啮齿动物、非人类灵长类动物和人类的多模态 MRI 数据的脑组织。因此，开发一种灵活且可推广的方法来提取跨物种的整个脑组织将使研究人员能够更有效地分析和比较实验结果。在这里，我们提出了一个领域自适应的半监督深度神经网络，称为脑提取网络 (BEN)，用于提取跨物种、MRI 模态和 MR 扫描仪的脑组织。我们已经在 18 个独立数据集上评估了 BEN，包括 783 个啮齿动物 MRI 扫描、246 个非人类灵长类动物 MRI 扫描和 4601 个人类 MRI 扫描，涵盖五个物种、四种模态和六种具有不同磁场强度的 MR 扫描仪。与传统工具箱相比，BEN 的优越性体现在其稳健性、准确性和通用性上。我们提出的方法不仅为跨物种提取脑组织提供了通用解决方案，而且显著提高了图谱配准的准确性，从而有利于下游处理任务。作为一种新型的全自动深度学习方法，BEN 被设计为一种开源软件，可在临床前和临床应用中实现跨物种神经影像数据的高通量处理。
社论：生命周期内多模态人脑成像和分析的最新进展：从映射到状态预测
在临床前动物模型中，研究人员可以在同一薄层组织中探测神经元内的活动[例如立即早期基因蛋白产物（Mcreynolds 等人，2018 年；Aparicio 等人，2022 年）]，检查神经元的投射和/或突触支配[例如管道或病毒追踪（Card and Enquist，1999 年；Saleeba 等人，2019 年）]，并确定神经化学表型[例如免疫组织化学（Magaki 等人，2019 年）]。通过临床前方法可以实现很高的机制特异性。在了解人脑方面，神经影像学为研究人员提供了非侵入性地探测大脑结构、功能和连接的机会，但它也并非没有局限性。例如，功能性磁共振成像 (fMRI) 中的血氧水平依赖性 (BOLD) 信号是基于氧合血红蛋白取代脱氧血红蛋白的神经激活的代理，而其本身并不是神经活动 (Huettel 等人，2009 年)。此外，扩散加权成像 (DWI) 和衍生的纤维束成像根据受神经成分限制的水分子扩散来推断白质结构，并不代表特定的神经元靶点或突触支配。因此，已知的临床前模型中的神经解剖学和功能文献极大地增强了对神经影像学发现的解释，努力在这些方法之间找到趋同非常重要 (例如，Folloni 等人，2019 年；Haber 等人，2021 年)。类似地，临床前模型或死后人脑的解剖技术（例如钝性和/或纤维解剖）与神经影像学（例如纤维束成像）之间的共识也很重要（Wu 等人，2016 年；Oler 等人，2017 年；Pascalau 等人，2018 年）。尽管神经影像学存在局限性，但仍有很大潜力利用不同的神经影像学模式的优势并整合这些模式，以更广泛地了解神经动力学，并对无数发育、情感、认知和临床问题有更深入的机制理解。不同的神经影像学模式可能揭示与早期经验不同维度的关系，从而为神经发育提供见解。例如，扩散光谱成像揭示了童年威胁（即虐待和创伤事件）与剥夺（即社会经济）对终纹白质的对立关系（Banihashemi 等人，2021b）。此外，静息态功能连接揭示了创伤事件与中枢内脏网络连接之间的关系（Banihashemi 等人，2022），而应激源诱发的活动揭示了
采用新颖的经验 Riglit 小波变换对脑图像进行稳健的多模态融合网络
机器学习对于模式识别很有用，如果允许它访问患者数据，它可以注意到人类医生可能忽略的模式，这可以用来预测一个人是否有患上医生无法预料到的疾病的风险。在本文中，作者提出了一种经验 Riglit 小波变换算法。在该算法中，作者融合了从 Ridgelet 和 Little wood 经验小波变换获得的 CT 和 MR 图像的滤波器组。融合使用了四种可能的组合。图像边界被评估为性能参数。这些参数有助于理解给定 CT 和 MR 图像中的小元素和细节。本文的目的是通过融合使用不同组合的 CT 和 MR 图像来对图像中的特定模式进行分类和提取。通过使用相同技术获得的融合 CT-MT 图像的滤波器组来验证所提出的算法。
多模式脑行为跨年龄组的不对称概括
Battaglini，M.，Gentile，G.，Luchetti，L.，Giorgio，A.，Vrenken，H. M.，Rocca，M。A.，Preziosa，P.，Gallo，A.，…De Stefano，N。（2019年）。寿命规范性数据有关大脑体积变化的速率。衰老的神经生物学，81，30 - 37。https：//doi.org/10.1016/j.neurobiolaging.2019。05.010 Cam-Can Consortium，Samu，D.，Campbell，K。L.，Tsvetanov，K。A.，Shafto，M。A.，＆Tyler，L。K.（2017）。随着年龄的增长而保留的认知功能取决于网络响应中的域依赖性变化。自然通讯，8（1），14743。https：//doi.org/10.1038/ NComms14743 Chan，M。Y.，Park，D。C.，Savalia，N。K.，Petersen，S。E.和Wig，G。S.（2014）。减少了整个健康成人寿命中大脑系统的分离。美国国家科学院的会议记录，111（46），E4997 - E5006。Cox，R。W.（1996）。afni：用于分析和可视化功能磁共振神经图像的软件。计算机和生物医学研究，29（3），162 - 173。Dale，A.，Fischl，B。，＆Sereno，M。I.（1999）。基于表面的皮质分析：I。分割和表面重建。Neuroimage，9（2），179 - 194。https：//doi.org/10.1006/nimg.1998.0395 Destrieux，C.，Fischl，B.，Dale，A。，＆Halgren，A。，＆Halgren，E。（2010）。使用标准解剖学名称的人皮层回旋和硫酸自动曲柄。Neuroimage，53（1），1 - 15。（2016）。Soc。Dhollander，T。和Connelly，A。一种新型的迭代方法，可以从仅单壳（ + b = 0）差异MRI数据中获得多组织CSD的益处。24 int。宏伟。共振。Med，24，3010。Esteban，O.，Markiewicz，C。J.，Blair，R。W.，Moodie，C.A.fmriprep：用于功能性MRI的强大预处理管道。自然方法，16（1），111 - 116。Fan，L.，Li，H.，Zhuo，J.，Zhang，Y.，Wang，J.，Chen，L.，Yang，Z.，Chu，C.，Xie，S。，＆Laird，A。R.（2016）。 人类Brainetome Atlas：基于连接架构的新大脑图集。 大脑皮层，26（8），3508 - 3526。 Fischl，B。和Dale，A。M.（2000）。 通过磁共振图像测量人脑皮质的厚度。 美国国家科学院的会议录，97（20），11050 - 11055。 Fischl，B.，Liu，A。和Dale，A。M.（2001）。 自动流动手术：构建人类大脑皮层的几何准确和拓扑上正确的模型。 IEEE医学成像，20（1），70 - 80。 Fischl，B.，Salat，D.H.，Busa，E.，Albert，M.，Dieterich，M.，Haselgrove，C.，van der Kouwe，A.，Killiany，R.，Kennedy，D.，Klaveness，S.，Montillo，S.，Montillo，A.，Makris，A. 整个大脑分割：人脑中神经解剖结构的自动标记。 Neuron，33，341 - 355。 磁共振图像的独立序列分段。 （1999）。Fan，L.，Li，H.，Zhuo，J.，Zhang，Y.，Wang，J.，Chen，L.，Yang，Z.，Chu，C.，Xie，S。，＆Laird，A。R.（2016）。人类Brainetome Atlas：基于连接架构的新大脑图集。大脑皮层，26（8），3508 - 3526。Fischl，B。和Dale，A。M.（2000）。通过磁共振图像测量人脑皮质的厚度。美国国家科学院的会议录，97（20），11050 - 11055。Fischl，B.，Liu，A。和Dale，A。M.（2001）。 自动流动手术：构建人类大脑皮层的几何准确和拓扑上正确的模型。 IEEE医学成像，20（1），70 - 80。 Fischl，B.，Salat，D.H.，Busa，E.，Albert，M.，Dieterich，M.，Haselgrove，C.，van der Kouwe，A.，Killiany，R.，Kennedy，D.，Klaveness，S.，Montillo，S.，Montillo，A.，Makris，A. 整个大脑分割：人脑中神经解剖结构的自动标记。 Neuron，33，341 - 355。 磁共振图像的独立序列分段。 （1999）。Fischl，B.，Liu，A。和Dale，A。M.（2001）。自动流动手术：构建人类大脑皮层的几何准确和拓扑上正确的模型。IEEE医学成像，20（1），70 - 80。Fischl，B.，Salat，D.H.，Busa，E.，Albert，M.，Dieterich，M.，Haselgrove，C.，van der Kouwe，A.，Killiany，R.，Kennedy，D.，Klaveness，S.，Montillo，S.，Montillo，A.，Makris，A.整个大脑分割：人脑中神经解剖结构的自动标记。Neuron，33，341 - 355。磁共振图像的独立序列分段。（1999）。Fischl，B.，Salat，D.H.，van der Kouwe，A.J.W.，Makris，N.，Ségonne，F.，Quinn，B.T。，＆Dale，A.M。（2004）。 Neuroimage，23（Suppl 1），S69 - S84。 https://doi.org/10.1016/j.neuroimage.2004.07.016 Fischl，B.，Sereno，M.I。，＆Dale，＆Dale，A. 基于表面的分析：II：通货膨胀，变平和基于表面的坐标系。 Neuro-图像，9（2），195 - 207。https：//doi.org/10.1006/nimg.1998.0396 Gao，M.，Wong，C.H。Y.，Huang，Huang，H.，Shao，Shao，Shao，R. 基于连接的模型可以预测老年人的速度。 Neuroimage，223，117290。https：//doi.org/ 10.1016/j.neuroimage.2020.117290 Gao，S.，Greene，A.S.，Constable，R.T。，＆Scheinost，D。（2019）。 组合多个连接组可改善表型度量的预测建模。 Neuroimage，201，116038。https：//doi.org/10.1016/j。 Neuroimage.2019.116038Fischl，B.，Salat，D.H.，van der Kouwe，A.J.W.，Makris，N.，Ségonne，F.，Quinn，B.T。，＆Dale，A.M。（2004）。Neuroimage，23（Suppl 1），S69 - S84。https://doi.org/10.1016/j.neuroimage.2004.07.016 Fischl，B.，Sereno，M.I。，＆Dale，＆Dale，A.基于表面的分析：II：通货膨胀，变平和基于表面的坐标系。Neuro-图像，9（2），195 - 207。https：//doi.org/10.1006/nimg.1998.0396 Gao，M.，Wong，C.H。Y.，Huang，Huang，H.，Shao，Shao，Shao，R.基于连接的模型可以预测老年人的速度。Neuroimage，223，117290。https：//doi.org/ 10.1016/j.neuroimage.2020.117290 Gao，S.，Greene，A.S.，Constable，R.T。，＆Scheinost，D。（2019）。组合多个连接组可改善表型度量的预测建模。Neuroimage，201，116038。https：//doi.org/10.1016/j。Neuroimage.2019.116038
多模式数据的机器学习整合标识了血压调节的关键特征
确定血压及其功能障碍的途径已导致有效的药物治疗和公共卫生政策减轻了高血压的负担。6这包括对众多社会人群和危险因素的认可，例如，教育阶段，7和种族，8，对醛固酮受体的研究，这导致了二氢吡啶钙通道阻滞剂的发展，这是对BP产生深远影响的药物。9然而，在过去的20年中，进步的步伐一直在步履蹒跚，没有获得过度张力的新药，并且在全球范围内达到的高血压控制率平稳。10 12这可能是通过基础研究的局限性来解释的，迄今为止，基于对单个机械途径的研究，迄今为止的预防和治疗过度张力，更详细地描述了13个。2
大规模多模态脑成像数据的机器学习揭示了手部偏好的神经相关性
a 浙江大学心理与行为科学系，中国杭州 b 柏林工业大学，德国 c 马克斯普朗克认知学院，马克斯普朗克人类认知与脑科学研究所，德国莱比锡 d 语言与遗传学系，马克斯普朗克心理语言学研究所，荷兰奈梅亨 e 神经科学系，马克斯普朗克经验美学研究所，德国法兰克福 f 唐德斯大脑、认知与行为研究所，荷兰奈梅亨 g 人类遗传学系，荷兰奈梅亨拉德堡德大学医学中心，h 浙江大学医学院邵逸夫医院精神病学系，中国杭州