双光子荧光显微镜 (2PM) 的最新进展使得活体小鼠的血管网络大规模成像和分析成为可能。然而,提取密集毛细血管床的网络图和矢量表示仍然是许多应用中的瓶颈。血管矢量化在算法上很困难,因为血管具有多种形状和大小,样本通常光照不均匀,并且需要较大的图像体积才能获得良好的统计能力。最先进的三维血管矢量化方法通常需要分割(二值)图像,依赖于手动或监督机器注释。因此,逐体素图像分割会受到人类注释者或训练者的偏见。此外,分割图像通常需要在骨架化或矢量化之前进行补救形态学过滤。为了解决这些限制,我们提出了一种矢量化方法,可从未分割图像中直接提取血管对象,而无需机器学习或训练。 MATLAB 中的无分割自动化血管矢量化 (SLAVV) 源代码已在 GitHub 上公开提供。这种新方法使用简单的血管解剖模型、高效的线性滤波和矢量提取算法来消除图像分割要求,用手动或自动矢量分类取而代之。半自动化 SLAVV 在小鼠皮层微血管网络(毛细血管、小动脉和小静脉)的三个体内 2PM 图像体积上进行了演示。矢量化性能已被证明对于血浆或内皮标记对比度的选择具有稳健性,并且处理成本与输入图像体积成比例。全自动 SLAVV 性能在不同质量的模拟 2PM 图像上进行评估,所有图像均基于大(1.4 × 0.9 × 0.6 mm 3 和 1.6 × 10 8 体素)输入图像。从自动矢量化图像计算出的感兴趣的血管统计数据(例如体积分数、表面积密度)比从强度阈值图像计算出的统计数据具有更高的图像质量稳定性。
抽象背景:神经胶质瘤是一种恶性脑肿瘤;它的位置很复杂,很难通过手术去除。诊断性脑肿瘤,医生可以使用医学图像精确地诊断和定位该疾病。 然而,计算机辅助诊断的脑肿瘤诊断仍然是问题,因为脑肿瘤的粗糙分割使肿瘤的内部成绩不正确。 方法:在本文中,我们提出了一个用于脑肿瘤分割的聚集和注意网络。 提出的网络将U-NET作为主链,汇总多尺度语义信息,并专注于至关重要的信息以执行脑肿瘤分割。 为此,我们提出了一个增强的下采样模块和上采样层,以补偿信息损失。 多尺度连接模块是结构编码器和解码器之间的多触发语义融合。 此外,我们设计了一个双重注意融合模块,该模块可以提取和增强磁共振成像的空间关系,并在所提出的网络的不同部分中应用深度监督的策略。 结果:实验结果表明,与ART网络相比,提出的框架的性能是BRATS2020数据集中最好的。 所提出的框架的性能超过了所有比较网络,其四个索引的平均精度分别为0.860、0.885、0.932和1.2325。 关键词:脑胶质瘤,图像分割,医学诊断,卷积神经网络诊断性脑肿瘤,医生可以使用医学图像精确地诊断和定位该疾病。然而,计算机辅助诊断的脑肿瘤诊断仍然是问题,因为脑肿瘤的粗糙分割使肿瘤的内部成绩不正确。方法:在本文中,我们提出了一个用于脑肿瘤分割的聚集和注意网络。提出的网络将U-NET作为主链,汇总多尺度语义信息,并专注于至关重要的信息以执行脑肿瘤分割。为此,我们提出了一个增强的下采样模块和上采样层,以补偿信息损失。多尺度连接模块是结构编码器和解码器之间的多触发语义融合。此外,我们设计了一个双重注意融合模块,该模块可以提取和增强磁共振成像的空间关系,并在所提出的网络的不同部分中应用深度监督的策略。结果:实验结果表明,与ART网络相比,提出的框架的性能是BRATS2020数据集中最好的。所提出的框架的性能超过了所有比较网络,其四个索引的平均精度分别为0.860、0.885、0.932和1.2325。关键词:脑胶质瘤,图像分割,医学诊断,卷积神经网络结论:拟议框架的框架和模块是科学和实用的,可以提取和汇总有用的语义信息并增强神经胶质瘤分割的能力。
Sohail N.、Anwar S.、Majeed F.、Szczerbicki E.,使用改进的卷积网络架构 (U-NET) 进行磁共振成像中胶质瘤分割的智能方法,控制论与系统 (2021),第 1-23 页,DOI:10.1080/01969722.2020.1871231
摘要 使用人工智能从 MRI 图像中检测和描绘脑肿瘤是医学 AI 面临的一项复杂挑战。最近的进展见证了各种技术被用于协助医疗专业人员完成这项任务。尽管机器学习算法在分割肿瘤方面很有效,但它们在决策过程中缺乏透明度,阻碍了信任和验证。在我们的项目中,我们构建了一个可解释的 U-Net 模型,专门用于脑肿瘤分割,利用梯度加权类激活映射 (Grad-CAM) 算法和 SHapley 加法解释 (SHAP) 库。我们依靠 BraTS2020 基准数据集进行训练和评估。我们采用的 U-Net 模型产生了有希望的结果。然后,我们利用 Grad-CAM 在图像中可视化模型关注的关键特征。此外,我们利用 SHAP 库来阐明用于预测患者生存天数的各种模型(包括随机森林、KNN、SVC 和 MLP)的预测,从而增强了可解释性。
摘要 — 医学图像处理极大地改变了医疗保健的格局,特别是在各种疾病的诊断和治疗方面。胃肠道 (GI) 癌症已成为一个快速增长的问题,估计每年报告的新病例有 500 万例。为了达到这种精度,医疗保健专业人员现在利用尖端的磁共振成像 (MRI) 模式,即 MR-Linacs,它可以提供肿瘤位置的每日视图。然而,这一过程中的一个瓶颈出现在从获得的医学图像中手动分割处于危险中的健康器官(如胃和肠)的过程中。这项由放射科医生执行的任务非常耗时,可能会大大延长治疗时间,从而加剧患者的痛苦。因此,胃肠道分割的自动化可以无缝地帮助肿瘤学家。我们的研究提出了一种自动分割胃肠道的模型。本研究提出了一个 U-Net 模型,可以从 MRI 扫描中分割胃和肠。该数据集来自威斯康星大学麦迪逊分校卡博内癌症中心,包含用于训练注释的 RLE 编码掩码以及 16 位灰度 PNG 图像。每个病例包含多个扫描切片,按时间或整个病例分割。我们的方法使用了 U-Net 上的各种损失函数组合来提高胃肠道自动分割的准确性和效率。与其他损失函数相比,我们的模型使用 Dice+BCE 损失函数实现了较高的准确性。在训练数据集上,采用 Dice+BCE 损失函数的 U-Net 模型获得了最高的骰子分数 0.9082 和 IOU 分数 0.8594。在验证数据集上,该模型的骰子分数为 0.8974,交并比 (IoU) 分数为 0.8181。这项研究有助于解决与手动胃肠道分割相关的挑战,通过使用深度学习技术进行自动分割提供了可行的解决方案。关键词 — 磁共振成像 (MRI)、组合损失函数、U-Net、威斯康星大学麦迪逊分校 Carbone 癌症中心、胃肠道分割
由于电动汽车和电池储能系统的重要性日益严重,因此必须在生产过程中和生产后确保电池安全性。一个方面是内部结构的可视化,可以通过计算机断层扫描(CT)作为一种非破坏性测试(NDT)方法来实现。深度学习工具可以快速学习和执行不同的图像处理任务。但是,在大多数设置中,生成训练这些工具所需的标记数据很昂贵。因此,这项工作通过逐步学习(GL)解决了CT体积中阳极和阴极的分割,该技术仅需要单个注释的体积切片。该技术利用了相邻切片之间的高相似性,并应用于电池堆栈细胞和圆柱形细胞。对于堆栈细胞,使用了平移相似性,这导致平均增益比联合(IOU)点相交0.09。对于圆柱细胞,提出了沿旋转中心切片的顺序分割。这导致GL应用之前的堆栈单元的较高初始IOU为0.78 vs. 0.73。对于圆柱细胞类型的GL的IOU增益为0.01 iOU点较小,但由于去除其余的伪影时,定性样品显示出改善。
脑肿瘤的特征是脑组织异常生长,因其对全球发病率和死亡率的影响而成为一项重大的医学挑战。脑肿瘤有多种表现形式,从良性到恶性,后者尤其具有侵袭性且易于转移 (1)。脑肿瘤的病因复杂,包括放射线暴露、遗传易感性和家族史等因素,因此需要早期发现和准确诊断 (2)。在脑肿瘤诊断领域,磁共振成像 (MRI) 因其更高的空间分辨率和软组织对比度而成为优于计算机断层扫描 (CT) 的检查方式。这使得 MRI 成为脑肿瘤病例术前评估、治疗管理和生存预测所必需的 (3)。然而,MRI 扫描中传统的手动分割方法虽然是黄金标准,但却存在固有的效率低下和主观差异性,因此有必要探索自动化技术 (4、5)。近年来,深度学习模型(例如 Ma 等人提出的模型)在自动脑肿瘤分割方面取得了重大成功。这些模型擅长捕捉局部和全局上下文特征,但通常会遇到梯度消失和过拟合的问题,尤其是在较深的网络层中。Kumar 等人(7)通过将 ResNet50 与全局平均池化相结合来解决这些问题,以增强各种肿瘤类型的肿瘤分类。在此基础上,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。我们的方法与现有技术不同,它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性,而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。我们的方法与现有技术不同,它集成了多尺度空间蒸馏和伪标记策略。这种方法不仅克服了以前模型中出现的梯度消失和过拟合的局限性,而且还解决了灾难性遗忘问题——这是连续学习模型中常见的挑战。与依赖于保留数据的传统方法不同,我们的研究引入了一种先进的连续学习框架,用于从 MRI 图像中分割脑肿瘤,如图 1 所示。
在整个大脑半球体上神经元钙通量的经颅视频中解散信号是在映射皮质组织特征之前的关键步骤。在这里我们揭示了独立的成分分析可以最佳地恢复神经信号的含量,以捕获的神经元记录,以最小采样率为1.5×10 6像素,每100毫秒框架以17分钟的速度以1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1:1。我们表明,从组件获得的一组空间和时间指标可用于构建一个随机的森林分类器,该分类器可自动以人为性能分离神经活动和伪影组件。使用此数据,我们建立了小鼠皮层的功能分割,以每个半球体提供〜115个域的图,其中提取的时间课程最大地表示每个记录中的基本信号。域图显示了大量的区域基序,高阶皮质区域呈现出较大的怪异结构域,而较小的圆形域则是原发性感觉区域中的较小圆形区域。数据驱动的视频分解和信号源的机器层化的工作流程可以极大地增强复杂脑动力学的高质量映射。
对环绕声的语义的空间理解是自动驾驶汽车需要安全驾驶决策所需的关键能力。最近,纯粹基于视觉的解决方案已增强了研究的兴趣。在特定的方法中,从多个摄像机中提取鸟类视图(BEV)的方法表现出了很好的空间理解性能。本文介绍了学习的位置编码的依赖性,以将基于变压器的甲基化的图像和BEV特征映射元素关联。我们提出利用外两极的几何约束,以模拟相机注意场与BEV之间的关系。它们被纳入注意机制中,作为一种新的归因术语,是学习位置编码的替代方案。实验表明,与隐式学习摄像机配置相比,我们的方法的大鹰队以2%MIOU的方式优于2%MIOU的BEV方法,并且具有出色的概括能力。
本报告在德国汉堡大学的知识技术研究小组中介绍了我的四个月实习。这项实习的目标是在与Nicol机器人的对象检测领域中找到一个研究主题,并在此主题上工作。实习涉及使用ROS和凉亭在模拟环境中的开发和测试,在Nicol机器人上实施3D摄像机以及对象探测器的研究。此多学科实习包括研究小组中的模拟,材料集成,项目手势和协作。最后,他为改善我对英语的掌握,演讲技巧以及为我提供了出色的跨文化经验做出了贡献。