想象力,基于模型的推理和决策的神经基础对神经科学产生了很大的兴趣[5-7];在认知水平上,在动物和人类学习中已经假设并证明了模型学习和心理模拟[8-11]。其在基于人工模型的代理中的成功部署迄今已仅限于可用的确切过渡模型[12]或模型易于学习的域中的设置,例如符号环境或低维系统[13 - 16]。在代理无法使用模拟器的复杂域中,最近的成功由无模型方法主导[2,17]。在此类域中,采用标准计划方法的基于模型的代理的性能通常会遭受功能近似作用的模型错误[18,19]。这些错误在计划过程中复合了,导致过度优势和剂性能差。当前没有计划
摘要。现实世界图像超分辨率(RISR)旨在从退化的低分辨率(LR)输入中重新结构高分辨率(HR)图像,以应对诸如模糊,噪声和压缩工件之类的挑战。与传统的超分辨率(SR)不同,该方法通过合成的下采样来典型地生成LR图像,而RISR则是现实世界中降级的复杂性。为了有效地应对RISR的复杂挑战,我们适应了无分类器指导(CFG),这是一种最初用于多级图像生成的技术。我们提出的方法,真实的SRGD(带有无分类器引导扩散的现实世界图像超分辨率),将RISR挑战分解为三个不同的子任务:盲图恢复(BIR),常规SR和RISR本身。然后,我们训练针对这些子任务量身定制的类别条件SR扩散模型,并使用CFG来增强现实世界中的超分辨率效果。我们的经验结果表明,实际SRGD超过了定量指标和定性评估中的现有最新方法,如用户研究所证明的那样。此外,我们的方法在
Revolutionising Medical Imaging with Computer Vision and Artificial Intelligence Edited by Seema Bhatnagar, Priyanka Narad, Rajashree Das and Debarati Paul This book first published 2024 Cambridge Scholars Publishing Lady Stephenson Library, Newcastle upon Tyne, NE6 2PA, UK British Library Cataloguing in Publication Data A catalogue record for this book is available from the British Library Copyright © 2024年,Seema Bhatnagar,Priyanka Narad,Rajashree Das,Debarati Paul和本书保留的所有权利。未经版权所有者事先许可,以任何形式或以任何形式或以任何形式(任何形式),以任何形式或以任何形式的方式,以任何形式或以任何形式)复制了本书的一部分,以任何形式或以任何形式或以任何方式传输。ISBN:978-1-0364-1061-2 ISBN(电子书):978-1-0364-1062-9ISBN:978-1-0364-1061-2 ISBN(电子书):978-1-0364-1062-9
亲爱的编辑,我们最近在《转化精神病学》上发表了一篇文章,探讨了在全脑水平上评估脑功能的策略 [1]。在这篇评论中,我们介绍了几种方法,从功能性磁共振成像到功能性超声再到钙成像。对于每一种技术,我们都简要介绍了它的发展历史、物理概念、一些关键应用、潜力和局限性。我们得出的结论是,在网络水平上对啮齿动物大脑进行成像的方法正在不断发展,并将增进我们对大脑功能的理解。Zhuo 和同事的一篇评论进一步增加了解决精神病学学科从动物模型到患者的“转化”问题的复杂性 [2]。他们提出,需要彻底审查用于开发精神疾病动物模型的方法,甚至可能需要修改。例如,迄今为止,大多数精神疾病的啮齿动物模型都是使用简单的药物输注 [3] 和/或社会心理刺激 [4] 建立的。然而,关键问题是这些操作如何改变大脑的结构和功能,以及这些模型是否真正反映了人类精神疾病的病理生理学。特别是因为很难评估是否可以说从啮齿动物到人类存在逆向推理。这是一个真实且可以接受的说法。然而,这正是临床前成像旨在实现的。通过绘制动物模型中大脑网络的动态响应,并将其(如果可能)与临床研究中报告的响应进行比较,我们可以获得定量数据和参数,以确定我们的模型是否有效转化 [ 5 ]。如果这些指标表明网络级修改在时间和空间上与在人类中观察到的相似,我们可以利用更具侵入性和更具体的方法来进一步研究动物模型中的大脑记录。否则,我们必须有信心和正确性继续前进并尝试其他解决方案。最近有两个例子。 2019 年,我们证实了小鼠蓝斑核 (LC) 去甲肾上腺素能活性与大量大型脑网络(尤其是突显网络和杏仁核网络)的参与之间存在因果关系 [6]。此外,我们还可以将网络变化与去甲肾上腺素 (NE) 周转的直接标志物以及 NE 受体在整个脑部的分布联系起来。特定脑网络动态与 LC 活性和 NE 受体密度相关的假设源自人类压力研究和药理学研究 [7,8]。然而,由于不可能选择性地刺激人类的 LC,因此十多年来,这一假设一直只是一个假设。
尽管用于语义图像编辑的深度神经模型最近取得了进展,但目前的方法仍然依赖于明确的人工输入。先前的工作假设有手动整理的数据集可用于监督学习,而对于无监督方法,需要人工检查发现的组件以识别那些修改有价值语义特征的组件。在这里,我们提出了一种新颖的替代方法:利用大脑反应作为学习语义特征表示的监督信号。在一项神经生理学实验中,向参与者 (N=30) 展示人工生成的面孔并指示他们寻找特定的语义特征,例如“老”或“微笑”,同时通过脑电图 (EEG) 记录他们的大脑反应。使用从这些反应推断出的监督信号,学习生成对抗网络 (GAN) 潜在空间内的语义特征,然后将其用于编辑新图像的语义特征。我们表明,隐性大脑监督实现的语义图像编辑性能与显性手动标记相当。这项工作证明了利用通过脑机接口记录的隐性人类反应进行语义图像编辑和解释的可行性。
仿射配准在全面的医学图像配准流程中不可或缺。然而,只有少数研究关注快速而鲁棒的仿射配准算法。这些研究中大多数利用卷积神经网络(CNN)来学习联合仿射和非参数配准,而对仿射子网络的独立性能探索较少。此外,现有的基于 CNN 的仿射配准方法要么关注局部错位,要么关注输入的全局方向和位置来预测仿射变换矩阵,这些方法对空间初始化很敏感,并且除了训练数据集之外表现出有限的通用性。在本文中,我们提出了一种快速而鲁棒的基于学习的算法,即粗到精视觉变换器(C2FViT),用于 3D 仿射医学图像配准。我们的方法自然地利用了卷积视觉变换器的全局连通性和局部性以及多分辨率策略来学习全局仿射配准。我们对 3D 脑图谱配准和模板匹配归一化方法进行了评估。综合结果表明,我们的方法在配准精度、稳健性和通用性方面优于现有的基于 CNN 的仿射配准方法,同时保留了基于学习的方法的运行时优势。源代码可在 https://github.com/cwmok/C2FViT 上找到。
2019 年 6 月 23 日至 2020 年 3 月 22 日,在 Wah Cantt 第三医院接受脑膜炎检查。材料和方法:通过非概率目的抽样,共纳入 173 名患者。我们的研究纳入了年龄在 2 至 70 岁之间、性别不限且根据临床表现疑似患有脑膜炎的患者。本研究排除了禁用增强 MRI 和腰椎穿刺的患者、确诊为脑膜炎的患者和不同意接受检查的患者。所有患者均以 0.2 毫升/秒的速度接受静脉注射造影剂钆。钆后 T1W 和钆后 FLAIR 图像由顾问放射科医生获取和评估。将发现记录在规定的表格上。对患者进行随访并从实验室收集腰椎穿刺结果。结果:平均年龄为 26.4±23.5 岁,范围从 2 岁至 70 岁。 173 名患者中,98 名(56.6%)为男性,75 名(43.4%)为女性。临床表现如下:喂养不良、易怒和嗜睡 86 人(49.7%),头痛 137 人(79.2%),恶心/呕吐 125 人(72.3%),颈部僵硬 89 人(51.4%),意识水平改变 132 人(76.3%),癫痫发作 78 人(45.1%)和局部神经功能障碍 45 人(26%)。以腰椎穿刺金标准为诊断标准,增强 MRI FLAIR 诊断脑膜炎的灵敏度为 91%,特异性为 85%,PPV 为 87.6%,NPV 为 89.4%,诊断准确率为 88.4%。以腰椎穿刺金标准为标准,增强 MRI T1W 在脑膜炎诊断中的诊断准确率显示敏感性 60.2%、特异性 77.5%、PPV 75.6%、NPV 62.6% 和诊断准确率 68.2%。结论:与增强 T1W 序列相比,增强 FLAIR 序列在检测脑膜增强方面具有更高的敏感性和特异性。因此,对于所有怀疑患有脑膜炎的患者,应将增强 FLAIR 序列作为常规序列添加到 MRI 脑部方案中。
在这项研究中,我们提出了使用多平面和多层跨前(M3T)网络的三维医学图像分类器,以在3D MRI图像中对阿尔茨海默氏病(AD)进行分类。提出的网络协同委托3D CNN,2D CNN和变压器用于准确的AD分类。3D CNN用于执行本机3D表示学习,而2D CNN用于利用大型2D数据库和2D代表学习的预训练权重。使用具有感应性偏置的CNN网络有效地提取局部大脑中与AD相关的异常的信息信息。跨前网络还用于获得CNN后多平面(轴向,冠状和矢状)和多切片图像之间的注意力关系。也可以使用不感应偏置的变压器学习分布在大脑中较大区域的差异。在此期间,我们使用了来自阿尔茨海默氏病神经影像学计划(ADNI)的训练数据集,该计划总共包含4,786 3D T1加权MRI图像。对于有效数据,我们使用了来自三个不同机构的数据集:澳大利亚成像,生物标志物和生活方式旗舰研究(AIBL)(AIBL),开放访问Imaging研究(OASIS)的开放访问系列(OASIS)以及来自培训数据集中的一些ADNI数据。我们提出的M3T基于曲线(AUC)下的区域(AUC)和AD分类的分类精度,与常规的3D分类网络相结合。这项研究表示,所构成的网络M3T在多机构验证数据库中实现了最高的性能,并证明了该方法有效地将CNN和Transformer用于3D医学图像的可行性。
活细胞需要能量,有些细胞比其他细胞需要更多能量。有些细胞的代谢率在几秒钟内从最小变为最大,而有些细胞则是无底洞,需要无节制地持续供应能量。能量底物和氧气的供应以及代谢废物的清除是通过复杂的血管网络来维持的,富含葡萄糖的血浆和充满氧气的红细胞 (RBC) 就是通过血管网络运输的。能量代谢的变化是诊断和监测组织疾病的常用指标,这一事实进一步强调了深入了解能量供应的重要性。大脑也不例外,但它有许多特殊功能和未解之谜。能量需求大约比身体每体积的平均能量需求高出一个数量级。最重要的是,由于大脑的能量储存能力有限,因此必须持续供应氧气和葡萄糖。供应中断几分钟就会对脑细胞造成不可逆转的损害。因此,大脑使用复杂的调节系统来控制其能量供应,该系统涉及壁细胞以及神经元和神经胶质细胞。更清楚地了解单个血管和整个脉管系统水平的血流变化对于揭示这个相互关联的系统如何协调其适应性至关重要。在 PNAS 中,Meng 等人 (1) 介绍了一种强大的超快速方法来改善微血管网络中脑血流的体内测量,这将大大提高双光子显微镜在量化微血管灌注方面的适用性。尽管自 19 世纪末以来我们就知道大脑会局部调节血流以满足局部能量需求的增加 (2, 3),但潜在的血液动力学过程以及细胞间和细胞内的信号通路仍然很大程度上未被发现(有关最近的综述,请参阅参考文献 4 和 5)。并且,在当前背景下需要强调的是,允许以高空间和时间分辨率测量血流的方法有限,但它们对于产生对血液调节微血管方面的新见解至关重要。由于其重要性,研究人员不断开发和应用各种方法来测量脑血流。这些方法基于不同的模式,例如放射性标记扩散化合物、氢扩散和微电极技术、磁共振成像、光谱、光学相干断层扫描、激光散斑成像,以及最近的聚焦超声和光声成像。其中一些方法已达到黄金标准地位,而其他方法则从地图上消失了。1998 年,Kleinfeld 等人 (6) 引入双光子显微镜来追踪单个红细胞。在接受静脉注射荧光葡聚糖以染色血浆的麻醉小鼠中,通过毛细血管短段的千赫兹线扫描来量化位移
摘要。事件摄像机作为具有较高dynamic范围的生物启发的视觉传感器,能够解决局部过度繁殖或不受欢迎的问题,即在具有高动态范围或波动的光照条件下,常规的基于框架的摄像机会遇到的常规基于框架的摄像机。由于两种相机之间的模态差距,简单的融合是不可行的。此外,由摄像机位置和框架速率偏差引起的幽灵伪影也会影响最终融合图像的质量。为了解决问题,本文提出了一个联合框架,将当地暴露的帧与事件摄像机捕获的事件流相结合,以在高动态范围场景中以偏斜的纹理增强图像。具体来说,使用轻量级的多尺度接收场块用于从事件流到帧的快速模态转换。此外,还提出了一个双分支融合模块来对齐特征并删除幽灵伪像。实验结果表明,所提出的方法有效地减轻了一系列极端照明条件的图像高度明亮和黑暗区域的信息丢失,从而产生了逼真的和自然的图像。