摘要 业界采用三维 (3D) 微电子封装的趋势日益增长,这要求开发新的创新型故障分析方法。为此,我们的团队正在开发一种称为量子金刚石显微镜 (QDM) 的工具,该工具利用金刚石中的一组氮空位 (NV) 中心,在环境条件下同时对微电子进行宽视野、高空间分辨率的矢量磁场成像 [1,2]。在这里,我们展示了 8 nm 工艺节点倒装芯片集成电路 (IC) 中的二维 (2D) 电流分布和定制多层印刷电路板 (PCB) 中的 3D 电流分布的 QDM 测量结果。倒装芯片中 C4 凸块发出的磁场在 QDM 测量中占主导地位,但这些磁场已被证明可用于图像配准,并且可以减去它们以分辨芯片中微米级相邻的电流轨迹。通孔是 3D IC 中的一个重要组件,由于其垂直方向,因此仅显示 B x 和 B y 磁场,而使用传统上仅测量磁场 B z 分量(正交于 IC 表面)的磁强计很难检测到这些磁场。使用多层 PCB,我们证明了 QDM 能够同时测量 3D 结构中的 B x 、B y 和 B z 磁场分量,这对于在电流通过层之间时解析通孔产生的磁场非常有利。两个导电层之间的高度差由磁场图像确定,并与 PCB 设计规范相符。在我们为以下提供进一步 z 深度信息的初始步骤中
通用人工智能在放射肿瘤学领域一直保持着自己的脚步。放射治疗包括 5 个主要步骤(图 1),即 a)患者评估,包括放射决策和咨询,b)模拟,包括图像配准和重建和轮廓勾勒,c)治疗计划,包括剂量测定和计划审查,d)质量保证和治疗实施,包括图像审查、设置验证、每日成像,e)患者随访 [1]。放射治疗的快速发展产生了“大数据”概念,这意味着由于放射治疗过程的复杂性而积累了大量数据,包括:数据量(数据密集型成像系统)、速度(不断增长的档案)、准确性(对数据的主观解释)和多样性(成像模式的多样性)。需要信息技术的一个创新分支来分析和处理这些数据 [2]。在人工智能的一个分支机器学习中,开发了模仿人类智能的计算机算法。密集编程和软编码使这些算法通过重复变得越来越好 [3]。在患者评估中,CADe 是一种计算机辅助检测,它允许计算机在图像诊断和评估中给出第二意见 [3]。提出了几种基于 ML 的模型,如使用 ANN(人工神经网络)[4] 检测 CT 中的肺结节,以及使用 CNN(卷积神经网络)检测乳房 X 线摄影 [5]。通过深度学习检测脑病变方面取得了卓越的成果 [6]。这种 ML 可以显著提高临床医生和放射科医生对疾病的评估,并预测风险收益比
磁共振图像配准中 SNR/分辨率权衡的优化 S. Kale 1,2、JP Lerch 1、RM Henkelman 1,2 和 XJ Chen 1,2 1 小鼠成像中心,加拿大安大略省多伦多,2 多伦多大学医学生物物理学,加拿大安大略省多伦多 简介 配准是医学图像分析的重要工具,其应用包括评估纵向研究中的变化、构建数字图谱和执行形态分析。后者在研究疾病特定人群和大脑发育生物学方面发展尤为迅速 1 。配准已广泛用于磁共振 (MR) 图像,其中成像在捕捉神经解剖结构方面提供了极大的灵活性。用户可以以任意分辨率和方向获取 3D 体积或 2D 切片数据,同时可以定义视野以适合任何对象。一个限制因素是总成像时间,这让用户不得不在分辨率和信噪比 (SNR) 之间做出权衡决定。通常,会调整采集参数以使生成的图像满足人类的视觉偏好,但是,由于图像配准是一项计算机分析任务,因此优化应响应计算机分析的需求。本摘要介绍了一项研究,该研究旨在调查在恒定扫描时间内 MR 成像中 SNR 和分辨率之间的最佳权衡,以实现最佳配准精度。方法虽然任何解剖结构的图像都可以,但我们使用的是通过高质量显微镜协议获取的固定小鼠神经解剖结构图像。固定脑标本的原位成像准备方法与之前描述的方法类似 2 。成像是在 7 T 磁体上使用多通道 Varian INOVA 控制台和三线圈探头进行的,以进行并行样本成像。扫描参数包括:快速自旋回波脉冲序列,TR/TE = 325/8 毫秒,6 次回波(第四次回波位于 k 空间中心),TE eff = 32 毫秒,90° 翻转角,14 毫米 x 14 毫米 x 25 毫米 FOV,432 x 432 x 780 扫描矩阵,4 个平均值(NA)。成像时间为 11.3 小时,每次可获得三个大脑的 T2 加权图像,每个图像有(32 微米)3 个体素。扫描了十个大脑。图像在均质白质中的平均 SNR 为 16。这些图像代表了黄金标准。从每个黄金标准图像中模拟了五个降级权衡图像,以模拟 1.9 小时的采集时间,但以牺牲 SNR 或分辨率或两者为代价。第一步需要从黄金标准数据中选择 k 空间的子体积来表示降级的分辨率。选择了五个子体积,以下称为权衡 AE ,权衡之间的体素体积步长为 2 倍(表 1,顶部)。第二步涉及向原始数据添加高斯分布随机白噪声,以模拟权衡数据中适当的相对 NA,从而固定总有效成像时间(1.9 小时)。然后,使用 ANIMAL 3,4 将来自每个权衡组和金标准组的图像独立地配准到使用仿射和非线性配准 5 的无偏平均图谱。变形场可用于识别形态学差异,它由非线性配准产生,并用于评估权衡组相对于金标准配准的配准精度。均方根误差 ( RMSE ) 度量,其中 ( ) 2 1 2 / / ) ( ) ( ∑ − = NN RMSE ioirdrd ,
摘要背景:脊柱裂 (SBA) 是一种出生缺陷,与发育中的胎儿大脑的严重解剖变化有关。脑磁共振成像 (MRI) 图谱是研究脑解剖神经病理学的常用工具,但之前的胎儿大脑 MRI 图谱主要关注正常的胎儿大脑。我们的目标是开发一个用于 SBA 的时空胎儿大脑 MRI 图谱。方法:我们开发了一种半自动计算方法来计算第一个用于 SBA 的时空胎儿大脑 MRI 图谱。我们使用了 90 个患有 SBA 的胎儿的 MRI,胎龄从 21 到 35 周不等。所有检查都获得了各向同性和无运动的 3D 重建 MRI。我们提出了一种在患有 SBA 的胎儿大脑 3D MRI 中注释解剖标志的协议,目的是使异常胎儿大脑 MRI 的空间对齐更加稳健。此外,我们提出了一种基于解剖标志的加权广义 Procrustes 方法来初始化图谱。所提出的加权广义 Procrustes 可以处理时间正则化和缺失注释。初始化后,使用基于图像强度和解剖标志的非线性图像配准迭代细化图谱。使用半自动方法将我们的胎儿大脑图谱划分为八种组织类型:白质、脑室系统、小脑、轴外脑脊液、皮质灰质、深层灰质、脑干和胼胝体。结果:评分者内变异性分析表明这七个解剖标志足够可靠。我们发现,所提出的图谱在自动分割患有 SBA 的胎儿大脑 3D MRI 方面优于正常的胎儿大脑图谱。结论:我们公开了一个时空胎儿大脑
摘要 人工智能 (AI) 因其在通信、交通、媒体和社交网络中的关键作用而成为人类生活中必不可少的工具。受人类复杂神经网络及其功能的启发,自 20 世纪 50 年代以来,人们就开始使用基于计算机的算法和训练来探索人工智能。为了处理大量患者的临床数据、影像、组织病理学数据,以及新疗法和临床试验研究的不断加快,以及随着新药和新证据的出现而不断变化的治疗指南,人工智能是当务之急。关于人工智能在肿瘤学领域的作用,有许多出版物和积极研究。在这篇综述中,我们讨论了人工智能的基本术语、它在肿瘤学中的应用以及它的局限性。人工智能、机器学习和深度学习之间存在相互关系。人工智能的虚拟分支涉及机器学习。而人工智能的物理分支则涉及不同形式的治疗——手术、靶向药物输送和老年护理。人工智能在肿瘤学中的应用包括癌症筛查、诊断(临床、影像和组织病理学)、放射治疗(图像采集、肿瘤和风险器官分割、图像配准、规划和输送)、治疗结果和毒性预测、癌细胞对治疗的敏感性预测和临床决策。一个特定的兴趣领域是借助人工智能开发针对每个患者和肿瘤的有效药物组合。放射组学是新兴学科,涉及放射治疗的规划和管理。与任何新发明一样,人工智能也有其谬误。其局限性包括缺乏外部验证和普遍性证明、罕见疾病数据获取困难、道德和法律问题、预测背后没有精确的逻辑,最后但并非最不重要的是,医疗专业人员缺乏教育和专业知识。临床肿瘤学、生物信息学和数据科学部门之间的合作可以帮助在不久的将来克服这些问题。
摘要 — 深部脑刺激 (DBS) 的疗效取决于电极放置的准确性,而手术中钻孔和硬脑膜打开造成的脑移位可能会危及电极放置的准确性。脑移位违反了术前图像和术中解剖结构之间假定的刚性对齐,对治疗产生负面影响。目的:本研究提出了一种基于变形图谱生物力学模型的方法来解决移位问题。方法:研究了 6 名接受介入磁共振 (iMR) 图像引导的 DBS 钻孔手术的患者。在不同的手术条件下采用特定于患者的模型,生成一组可能的术中移位估计或“变形图谱”。由来自 iMR 的稀疏测量驱动逆问题,以确定图谱解的最佳拟合。然后使用该拟合获得体积变形场,该场用于更新术前 MR 并估计在 iMR 上定位的手术目标区域的移位。通过定量比较术中次表层测量值与模型预测值,以及定性比较 iMR、术前 MR 和模型更新的 MR,检查模型性能。引入非刚性图像配准作为比较器。结果:基于模型的方法将一般实质移位从 8.2±2.2 毫米减少到 2.7±1.1 毫米(~66.8% 校正),并且产生的更新 MR 与 iMR 的一致性优于术前 MR。模型估计的目标区域平均移位为 1.2 毫米。结论:本研究证明了基于模型的移位校正策略在仅使用稀疏数据的 DBS 手术中的可行性。意义:所开发的策略有可能补充和/或增强当前解决移位问题的临床方法。索引词 — 脑移位、计算建模、深部脑刺激、图像引导神经外科手术
Aljabar, P., Heckemann, RA, Hammers, A., Hajnal, JV, & Rueckert, D. (2009). 基于多图谱的脑图像分割:图谱选择及其对准确性的影响。神经图像,46 (3),726 – 738。Aljabar, P., Wolz, R., & Rueckert, D. (2012)。流形学习用于医学图像配准、分割和分类。机器学习在计算机辅助诊断中的应用:医学影像智能与分析,1,351 – 372。Arrigo, A., Mormina, E., Calamuneri, A., Gaeta, M., Granata, F., Marino, S., … Quartarone, A. (2017)。人脑半球间闭锁连接:基于约束球面反卷积的研究。 Clinical Neuroradiology , 27 (3), 275 – 281. Berman, S., Schurr, R., Atlan, G., Citri, A., & Mezer, AA (2020). 使用体内高分辨率 MRI 自动分割人类背侧隔膜。Cerebral Cortex Communications , 1 (1), 1 – 14. https://doi.org/10.1093/texcom/tgaa062 Brown, SP, Mathur, BN, Olsen, SR, Luppi, P.-H., Bickford, ME, & Citri, A. (2017). 在理解大脑皮层和隔膜之间功能相互作用的作用方面取得新突破。神经科学杂志, 37 (45), 10877 – 10881。Bruguier, H., Suarez, R., Manger, P., Hoerder-Suabedissen, A., Shelton, AM, Oliver, DK, … Puelles, L. (2020)。寻找隔膜和亚板的共同发育和进化起源。比较神经学杂志, 528 (17), 2956 – 2977。Chen, H., Dou, Q., Yu, L., Qin, J., & Heng, P.-A. (2018)。VoxResNet:用于从 3D MR 图像中分割大脑的深度体素残差网络。神经图像, 170, 446 – 455。Crick, FC, & Koch, C. (2005)。隔膜的功能是什么?英国皇家学会哲学学报B:生物科学,360(1458),1271-1279。
业界越来越倾向于采用三维 (3D) 微电子封装,这要求开发新的创新型故障分析方法。为此,我们的团队正在开发一种称为量子金刚石显微镜 (QDM) 的工具,该工具利用金刚石中的一组氮空位 (NV) 中心,在环境条件下同时对微电子进行宽视野、高空间分辨率的矢量磁场成像 [1,2]。在这里,我们展示了 8 nm 工艺节点倒装芯片集成电路 (IC) 中的二维 (2D) 电流分布和定制多层印刷电路板 (PCB) 中的 3D 电流分布的 QDM 测量结果。倒装芯片中 C4 凸块发出的磁场在 QDM 测量中占主导地位,但这些磁场已被证明可用于图像配准,并且可以减去它们以分辨芯片中微米级相邻的电流轨迹。通孔是 3D IC 中的一个重要组件,由于其垂直方向,因此仅显示 B x 和 B y 磁场,而使用传统上仅测量磁场 B z 分量(与 IC 表面正交)的磁强计很难检测到这些磁场。使用多层 PCB,我们证明了 QDM 能够同时测量 3D 结构中的 B x 、B y 和 B z 磁场分量,这对于在电流通过层间时解析通孔磁场非常有利。两个导电层之间的高度差由磁场图像确定,并且与 PCB 设计规范一致。在我们最初使用 QDM 为复杂 3D 电路中的电流源提供更多 z 深度信息的步骤中,我们证明了由于麦克斯韦方程的线性特性,可以从整个结构的磁场图像中减去各个层的磁场图像。这允许从设备中的各个层中分离信号,该信号可用于通过求解 2D 磁逆来映射嵌入式电流路径。这种方法提出了一种迭代分析协议,利用神经网络对包含各种类别的电流源、隔离距离和噪声的图像进行训练,并结合 IC 的先验信息,
本研究的目的是评估一种新型的基于锥形束计算机断层扫描 (CBCT) 的术中自动配准系统在伴侣动物无框架立体定向脑活检中的应用。一项实验性尸体研究评估了三只无颅内疾病史的狗和三只猫的丘脑和梨状叶靶点针放置误差。对二十四只患有颅内疾病的客户所养狗和四只猫进行了前瞻性诊断准确性和诊断产量评估。二十一项手术是在死后进行的(十八只狗和三只猫),七项活检手术是在活着的患者身上进行的(六只狗和一只猫)。对十名死后患者和四名活着的患者评估了手术持续时间。对六只狗和一只猫进行了结果评估。在狗中,计算得出的梨状叶和丘脑靶位的针头放置误差中位数分别为 1.8 毫米(范围 0.71–2.84 毫米)和 1.53 毫米(范围 1.45–1.99 毫米)。在猫中,计算得出的梨状叶靶位的针头放置误差中位数为 0.79 毫米(范围 0.6–1.91 毫米),丘脑靶位的针头放置误差中位数为 1.29 毫米(范围 0.47–2.69 毫米)。诊断率为 96.4%(95% CI 0.81–0.99),诊断准确率为 94.4%(95% CI 0.72–0.99)。尸检活检的中位总操作持续时间为 57.5 分钟(范围 41–69 分钟)。活体活检的中位总手术时长为 122.5 分钟(范围为 103-136 分钟)。三只狗在活检后 1 天出院,一只狗在 6 天后出院。两只狗和一只猫在活检后 24 和 48 小时被安乐死。基于 CBCT 的伴侣动物无框架立体定向活检术中自动图像配准能够提供与头骨大小和形态无关的诊断性脑活检样本,其诊断产量和准确性与兽医学中使用的各种无框架和基于框架的立体定向系统的已公布值相当。手术持续时间不会受到负面影响,并且在其他系统公布的范围内。移动式术中 CBCT 配准结合神经导航可为伴侣动物提供诊断性脑活检。
高内涵显微镜在生物学和医学领域取得了许多进展。这种快速发展的技术正在将细胞生物学转变为大数据驱动的科学。计算机视觉方法用于自动分析显微镜图像数据。近年来,深度学习变得流行起来,并在计算机视觉领域取得了重大成功。大多数可用的方法都是为处理自然图像而开发的。与自然图像相比,显微镜图像带来了特定领域的挑战,例如训练数据集小、对象聚类和类别不平衡。本文介绍了用于显微镜图像中对象检测和细胞分割的新型深度学习方法。对于荧光显微镜图像中的粒子检测,提出了一种基于领域自适应反卷积网络的深度学习方法。此外,提出了一种在异质组织病理学图像中有丝分裂细胞检测的方法,该方法结合了深度残差网络和霍夫投票。该方法用于乳腺癌全切片组织学图像的分级。此外,介绍了一种基于物体质心的粒子检测和细胞检测方法,该方法可以端到端训练。它包括一个新的质心提议网络、一个用于在图像尺度和锚点上集成检测假设的层、一个有利于先前锚点而不是回归位置的锚点正则化方案以及一种改进的非最大抑制算法。此外,提出了一种基于归一化互信息的新型损失函数,该函数可以应对强烈的类别不平衡,并且是在贝叶斯框架内推导出来的。对于细胞分割,引入了一种具有增加的接受场以捕获丰富语义信息的深度神经网络。此外,提出了一种结合卷积神经网络的多尺度特征聚合和循环神经网络的迭代细化的两种范式的深度神经网络。为了提高训练的鲁棒性并改善分割,提出了一种新的焦点损失函数。此外,还提出了一种用于生物医学图像分析流程的黑盒超参数优化框架。该框架具有模块化架构,将超参数采样和超参数优化分开。建议基于最小投影对损失函数进行可视化,以进一步了解优化问题。此外,还提出了一种迁移学习方法,该方法仅使用一个颜色通道进行预训练,并对更多颜色通道进行微调。此外,还提出了一种用于组织病理学幻灯片的无监督域自适应方法。最后,介绍了 Galaxy Image Analysis,这是一个基于 Web 的显微镜图像分析平台。已经开发了用于细胞培养中的细胞分割、小鼠脑组织中的粒子检测和 MALDI/H&E 图像配准的 Galaxy Image Analysis 工作流程。所提出的方法已应用于具有挑战性的合成和真实