她的研究重点是增强手术视觉,用于微创和机器人辅助手术中的术中导航。2017 年,她荣获伦敦帝国理工学院“校长杰出早期职业研究员奖”。她被选为伦敦帝国理工学院 IdeasLab 的成员,参加在中国天津举行的 2016 年世界经济论坛新领军者年会,主题为“成像前沿”。她在“2013 年医学成像与计算机视觉相结合的 Rank 奖研讨会”、M2CAI-MICCAI 2014、IPCAI 2016、AE-CAI- MICCAI 2020、IPCAI 2020 等国际会议和研讨会上获得最佳论文奖。她还应邀在许多国际研讨会和专题讨论会上展示她的工作。她是医疗机器人、医学成像和生物医学工程领域高影响力期刊和会议的常任审稿人,也是年度哈姆林外科成像和视觉冬季学校的主席。
Abstract: In brain imaging segmentation, precise tumor delineation is crucial for diagnosis and treatment planning. Traditional approaches include convolutional neural networks (CNNs), which struggle with processing sequential data, and transformer models that face limitations in maintaining computational efficiency with large-scale data. This study introduces MambaBTS: a model that synergizes the strengths of CNNs and transformers, is inspired by the Mamba architecture, and integrates cascade residual multi-scale convolutional kernels. The model employs a mixed loss function that blends dice loss with cross-entropy to refine segmentation accuracy effectively. This novel approach reduces computational complexity, enhances the receptive field, and demonstrates superior performance for accurately segmenting brain tumors in MRI images. Experiments on the MICCAI BraTS 2019 dataset show that MambaBTS achieves dice coefficients of 0.8450 for the whole tumor (WT), 0.8606 for the tumor core (TC), and 0.7796 for the enhancing tumor (ET) and outperforms existing models in terms of accuracy, computational efficiency, and parameter efficiency. These results underscore the model's potential to offer a balanced, efficient, and effective segmentation method, overcoming the constraints of existing models and promising significant improvements in clinical diagnostics and planning.
摘要:准确分类胶质瘤在临床实践中至关重要。它对临床医生和患者选择适当的治疗方法具有重要意义,有助于促进个性化医疗的发展。在 MICCAI 2020 放射学和病理学联合分类挑战赛中,为每个患者提供了 4 个 MRI 序列和一张 WSI 图像。参赛者需要使用多模态图像来预测胶质瘤的亚型。在本文中,我们提出了一种用于胶质瘤分类的全自动流程。我们提出的模型由两部分组成:特征提取和特征融合,分别负责提取图像的代表性特征和进行预测。具体而言,我们提出了一种用于 3D MRI 体积的无分割自监督特征提取网络。并且通过将传统图像处理方法与卷积神经网络相结合,为 H&E 染色的 WSI 设计了一个特征提取模型。最后,我们融合从多模态图像中提取的特征,并使用密集连接的神经网络来预测最终的分类结果。我们在验证集上使用 F1 分数、Cohen's Kappa 和平衡准确度评估所提出的模型,结果分别达到 0.943、0.903 和 0.889。
白质病变 (WML) 是多种脑部疾病的根源,而自动 WML 分割对于评估自然病程和临床干预措施(包括药物研发)的有效性至关重要。尽管最近的研究在 WML 分割方面取得了巨大进展,但准确检测疾病早期出现的细微 WML 仍然特别具有挑战性。在这里,我们提出了一种使用强度标准化技术、灰度共生矩阵 (GLCM) 嵌入聚类技术和随机森林 (RF) 分类器自动分割轻度 WML 负荷的方法,以提取纹理特征并识别特定于真正 WML 的形态。我们通过局部离群值因子 (LOF) 算法精确定义它们的边界,该算法通过相对于其邻居的局部密度偏差来识别边缘像素。该自动化方法已在 32 名人类受试者身上进行了验证,结果显示,通过类内相关性 (ICC = 0.881,95% CI 0.769, 0.941) 和皮尔逊相关性 (r = 0.895,p 值 < 0.001),与神经放射科医生的手动描绘具有很强的一致性和相关性(排除一个异常值),并且在 MICCAI 大挑战赛中定义的六个既定关键指标中的五个方面优于三种领先算法(修剪均值异常值检测、病变预测算法和 SALEM-LS)。通过促进对细微 WML 的更精确分割,该方法可以实现更早的诊断和干预。
分割算法的疗效经常因拓扑错误,连接中断和空隙等拓扑错误而受到损害。为了解决这一问题,我们引入了一种新颖的损失函数,即拓扑 - 意识局灶性损失(TAFL),该功能将基于基于地面真实和预测段蒙版的持久性图表之间的拓扑结构术语与拓扑结构术语结合在一起。通过实施与地面真理相同的拓扑结构,拓扑的约束可以有效地解决拓扑结构,而焦点损失可以解决阶级失衡。我们首先是从地面真理和预测的分割掩模的过滤的立方复合物中构造持久图。随后,我们利用sindhorn-knopp算法来确定两个持久图之间的最佳运输计划。最终的运输计划最小化了将质量从一个分布到另一个分布的运输成本,并在两个持久图中的点之间提供了映射。然后,我们根据该旅行计划计算沃斯堡的距离,以测量地面真相和预测的面具之间的拓扑差异。我们通过训练3D U-NET与MICCAI脑肿瘤分割(BRATS)CHALLENE验证数据集来评估我们的方法,该数据需要准确地分割3D MRI扫描,从而整合各种方式,以精确鉴定和跟踪恶性脑肿瘤。然后,我们证明,通过添加拓扑约束作为惩罚项,通过将焦点损失正规化来提高分段性能的质量。
机器人手术中的抽象目的深度估计在3D重建,手术导航和增强现实访问中至关重要。尽管基础模型在许多视觉任务中表现出出色的性能,包括深度估计(例如Dinov2),但最近的作品观察到了其在医学和外科域特异性应用中的局限性。这项工作介绍了手术深度估计基础模型的低排名适应性(LORA)。方法我们设计了一种基于基础模型的深度估计方法,称为手术 - 迪诺,这是对内窥镜手术深度估计的Dinov2的低级适应。我们建立洛拉层并将其集成到恐龙中,以适应手术特异性领域知识,而不是传统的调整。在训练期间,我们冻结了Dino Image编码器,该编码器显示出出色的视觉表示能力,仅优化Lora层和深度解码器以整合手术场景的特征。结果,我们的模型在MICCAI挑战数据集上得到了广泛的验证,该数据集是从Da Vinci XI内窥镜手术中收集的。我们从经验上表明,手术迪诺的显着性在内窥镜深度估计任务中的表现优于所有最新模型。进行消融研究的分析表明,我们洛拉层和适应的显着作用的证据。结论手术迪诺(Div)揭示了基础模型成功适应手术领域以进行深度估计。结果有明确的证据表明,对计算机视觉数据集中预训练的权重的零拍预测或幼稚的调整不足以直接在手术域中使用基础模型。
摘要。对肿瘤分割模型的一个关键挑战是适应各种临床环境的能力,尤其是在应用于质量差的神经数据时。围绕这种适应性的不确定性源于缺乏代表性数据集,使最佳模型在整个撒哈拉以南非洲(SSA)中发现的MRI数据中发现的不符合外表的模型没有展示的模型。我们复制了一个框架,该框架确保了2022个小子中的第二位置,以调查数据集组成对Mod-el绩效的影响,并通过使用以下方式培训模型来追求四种不同的方法:仅Brats-Africa Data(Train_ssa,N = 60),N = 60),2)Brats-Adult Glioma DATATS(2)BRATS-ADULT GLIOMA DATATS(TRAIT_ DATAT)(Train_gli,N = 1251) n = 1311)和4)通过进一步培训使用BRATS-AFRICA数据(Train_FTSSA)的Train_GLI模型。值得注意的是,仅在较小的低质量数据集(Train_SSA)上进行培训就产生了低于标准的结果,并且仅在较大的高质量数据集(Train_Gli)上训练,在低质量验证集中努力努力划定Odematous Tissue。最有希望的AP-PRACH(TRAIN_FTSSA)涉及预先培训高质量神经图像的模型,然后在较小的低质量数据集中进行微调。这种方法超过了其他方法,在Miccai Brats非洲全球挑战外部测试阶段排名第二。这些发现强调了较大的样品大小的重要性,并在改善分割性能中广泛接触了数据。此外,我们证明了通过在本地使用更广泛的数据范围对这些模型进行微调来改善此类模型的潜力。
1。Archer J.人类心理性别差异的现实和进化意义。Biol Rev Camb Philos Soc。2019年8月; 94(4):1381–415。2。Hyde JS。 性别相似性假设。 am Psychol。 2005; 60(6):581–92。 3。 giudice MD,Booth T,IrwingP。火星与金星之间的距离:测量全球性别差异。 PLOS ONE。 2012年1月4日; 7(1):E29265。 4。 van Essen DC,Smith SM,Barch DM,Behrens Tej,Yacoub E,Ugurbil K等。 Wu-Minn Human Connectome项目:概述。 神经图像。 2013年10月15日; 80:62–79。 5。 Avants BB,Epstein CL,Grossman M,Gee JC。 与交叉相关的对称差异图像注册:评估老年人和神经退行性大脑的自动标记。 MED图像肛门。 2008年2月; 12(1):26–41。 6。 Descoteaux M,Angelino E,Fitzgibbons S,DericheR。正规化,快速和可靠的分析Q-Ball成像。 登录元。 2007年9月; 58(3):497–510。 7。 Koch MA,Norris DG,Hund-Georgiadis M.使用磁共振成像研究功能和解剖连通性的研究。 神经图像。 2002年5月1日; 16(1):241–50。 8。 Guevara P,Poupon C,RivièreD,Cointepas Y,Marrakchi-Kacem L,Descoteaux M等。 使用两级聚类策略推断Hardi Fiber束地图集。 2010年1月1日; 13:550–7。 9。 (计算机科学中的讲义)。Hyde JS。性别相似性假设。am Psychol。2005; 60(6):581–92。3。giudice MD,Booth T,IrwingP。火星与金星之间的距离:测量全球性别差异。PLOS ONE。 2012年1月4日; 7(1):E29265。 4。 van Essen DC,Smith SM,Barch DM,Behrens Tej,Yacoub E,Ugurbil K等。 Wu-Minn Human Connectome项目:概述。 神经图像。 2013年10月15日; 80:62–79。 5。 Avants BB,Epstein CL,Grossman M,Gee JC。 与交叉相关的对称差异图像注册:评估老年人和神经退行性大脑的自动标记。 MED图像肛门。 2008年2月; 12(1):26–41。 6。 Descoteaux M,Angelino E,Fitzgibbons S,DericheR。正规化,快速和可靠的分析Q-Ball成像。 登录元。 2007年9月; 58(3):497–510。 7。 Koch MA,Norris DG,Hund-Georgiadis M.使用磁共振成像研究功能和解剖连通性的研究。 神经图像。 2002年5月1日; 16(1):241–50。 8。 Guevara P,Poupon C,RivièreD,Cointepas Y,Marrakchi-Kacem L,Descoteaux M等。 使用两级聚类策略推断Hardi Fiber束地图集。 2010年1月1日; 13:550–7。 9。 (计算机科学中的讲义)。PLOS ONE。2012年1月4日; 7(1):E29265。4。van Essen DC,Smith SM,Barch DM,Behrens Tej,Yacoub E,Ugurbil K等。Wu-Minn Human Connectome项目:概述。神经图像。2013年10月15日; 80:62–79。5。Avants BB,Epstein CL,Grossman M,Gee JC。与交叉相关的对称差异图像注册:评估老年人和神经退行性大脑的自动标记。MED图像肛门。2008年2月; 12(1):26–41。6。Descoteaux M,Angelino E,Fitzgibbons S,DericheR。正规化,快速和可靠的分析Q-Ball成像。登录元。2007年9月; 58(3):497–510。 7。 Koch MA,Norris DG,Hund-Georgiadis M.使用磁共振成像研究功能和解剖连通性的研究。 神经图像。 2002年5月1日; 16(1):241–50。 8。 Guevara P,Poupon C,RivièreD,Cointepas Y,Marrakchi-Kacem L,Descoteaux M等。 使用两级聚类策略推断Hardi Fiber束地图集。 2010年1月1日; 13:550–7。 9。 (计算机科学中的讲义)。2007年9月; 58(3):497–510。7。Koch MA,Norris DG,Hund-Georgiadis M.使用磁共振成像研究功能和解剖连通性的研究。神经图像。2002年5月1日; 16(1):241–50。 8。 Guevara P,Poupon C,RivièreD,Cointepas Y,Marrakchi-Kacem L,Descoteaux M等。 使用两级聚类策略推断Hardi Fiber束地图集。 2010年1月1日; 13:550–7。 9。 (计算机科学中的讲义)。2002年5月1日; 16(1):241–50。8。Guevara P,Poupon C,RivièreD,Cointepas Y,Marrakchi-Kacem L,Descoteaux M等。使用两级聚类策略推断Hardi Fiber束地图集。 2010年1月1日; 13:550–7。 9。 (计算机科学中的讲义)。使用两级聚类策略推断Hardi Fiber束地图集。2010年1月1日; 13:550–7。9。(计算机科学中的讲义)。MED图像计算计算辅助间隔MICCAI INT CONC MED MED MED IMAGE计算计算辅助间隔。Campello RJGB,Moulavi D,Sander J.基于层次密度估计的基于密度的聚类。in:PEI J,Tseng VS,Cao L,Motoda H,Xu G,编辑。知识发现和数据挖掘的进步。柏林,海德堡:施普林格; 2013年。 160–72。10。Zhang H,Schneider T,Wheeler-Kingshott CA,Alexander DC。 noddi:实用的体内神经突导向分散和人脑的密度成像。 卷。 61,神经图像。 2012。 1000–16。Zhang H,Schneider T,Wheeler-Kingshott CA,Alexander DC。noddi:实用的体内神经突导向分散和人脑的密度成像。卷。61,神经图像。2012。 1000–16。
摘要:目的:放射线学家使用磁共振成像(MRI)数据对脑肿瘤进行了手动和无创诊断和非侵入性分类。可能由于人为因素(例如缺乏时间,疲劳和相对较低的经验)而存在误诊的风险。深度学习方法在MRI分类中变得越来越重要。为提高诊断准确性,研究人员强调需要通过使用深度学习方法(例如卷积神经网络(CNN))来开发基于人工智能(AI)系统的计算机辅助诊断(CAD)计算诊断,并通过将其与其他数据分析工具(如波动型波现变换)相结合来改善CNN的性能。在这项研究中,开发了一个基于CNN和DWT数据分析的新型诊断框架,用于诊断大脑中的神经胶质瘤肿瘤以及其他肿瘤和其他疾病,并进行了T2-SWI MRI扫描。这是一种二元CNN分类,将“神经胶质瘤肿瘤”视为阳性,而其他病理为阴性,导致非常不平衡的二元问题。该研究包括对经过MRI的小波变换数据而不是其像素强度值的CNN进行比较分析,以证明CNN和DWT分析在诊断脑胶质瘤时的性能提高。还将提出的CNN体系结构的结果与使用DWT知识的VGG16传输学习网络和SVM机器学习方法进行了比较。此外,没有对原始图像应用预处理。使用的图像是与轴向平面平行的T2-SWI序列的MRI。方法:为了提高CNN分类器的准确性,拟议的CNN模型用作知识,通过将原始MRI图像转换为频域而提取的空间和时间特征,通过执行离散小波转换(DWT),而不是传统上使用的原始扫描以Pixel Intomesition的形式进行。首先,对每次MRI扫描进行了一个压缩步骤,该DWT施加了三个级别的分解级别。这些数据用于训练2D CNN,以将扫描分类为显示神经胶质瘤。拟议的CNN模型对MRI切片进行了培训,该模型源自382名各种男性和女性成年患者,显示出疾病选择的健康和病理图像(显示出神经胶质瘤,脑膜瘤,垂体,垂体,坏死,水肿,非onsence肿瘤,肿瘤,出血性焦点,水肿,缺血性,缺血性区域等)。这些图像由医学图像计算和计算机辅助干预(MICCAI)的数据库以及缺血性的中风病变细分(ISLE)对脑肿瘤细分(BRATS)挑战2016和2017的挑战以及2017年和2017年的挑战,以及在Chania,Crete,Crete,Crete,Crete,Crete,Crete,Saint George中保存的许多记录。结果:通过检查源自190名不同患者的MRI切片(未包含在训练集中),在实验中评估了所提出的框架,其中56%的胶质瘤显示了最长的两个轴小于2 cm,而44%的轴是其他病理效应或健康的病例。结果表明,当使用AS信息时,令人信服的性能是原始扫描提取的空间和时间特征。使用拟议的CNN模型和DWT格式的数据,我们实现了以下
Dimitris Metaxas,博士 Dimitris Metaxas 是罗格斯大学计算机科学系的杰出教授。他是 NSF IUCRC CARTA 第二阶段主任和罗格斯大学计算生物医学、成像和建模中心 (CBIM) 主任,自 2010 年以来一直负责 NSF IUCRC。他的研究重点是新型人工智能、机器学习、计算机视觉方法和医学图像分析方法。他一直在使用生成对抗方法和扩散模型、大型基础模型 (LLM、VLM)、人类可解释的人工智能、半监督和无监督学习方法开发用于图像和文本生成的新型人工智能方法,并将它们应用于计算机视觉和生物医学应用中的许多问题。他的研究得到了 NSF、NIH、AFOSR、DARPA、HSARPA 和 ONR 的支持。他是 2024 年动态数据驱动应用系统 (DDDAS) 会议的共同组织者、2026 年 IEEE/CVF 计算机视觉和模式识别 (CVPR) 的总主席以及 2025 年医学成像信息处理 IPMI 的总主席。他是美国医学和生物工程师学会院士、IEEE 院士和 MICCAI 学会院士。Metaxas 博士于 1986 年以最高荣誉获得希腊雅典技术大学文凭,1988 年获得马里兰大学理学硕士学位,1992 年获得多伦多大学博士学位。1992 年至 2002 年,他担任宾大终身教授,并于早期任职,自 2002 年起加入罗格斯大学并创立 CBIM。他发表过 800 多篇文章,培养了 67 多名博士生,在人工智能、计算机视觉、计算机图形学(1998 年基于其学生 Nick Foster 开发的软件制作的《移动“蚂蚁”中的水场景》)和医学图像分析领域开创了多种方法,并在顶级会议上获得了无数奖项。他拥有 10 项专利。Yelena Yesha 博士在迈阿密大学,Yelena Yesha 博士是弗罗斯特数据科学与计算研究所 (IDSC) 的 Knight 基金会数据科学与人工智能捐赠主席。在 IDSC,Yesha 博士还是机器学习和人工智能项目主任、创新官和国际关系主管。在创新职位上,Yesha 博士协助教师与政府和工业伙伴合作与大学合作,并咨询教师如何将研究想法发展为创新。 Yesha 博士是美国国家科学基金会加速实时分析中心 (CARTA) 的创始主任,该中心是一个由美国国家科学基金会资助的产学研合作研究中心 (I/UCRC),旨在发展产学研和政府之间的长期合作伙伴关系。CARTA 与罗格斯大学新不伦瑞克分校、北卡罗来纳州立大学、马里兰大学巴尔的摩分校 (UMBC)、特拉维夫大学和迈阿密大学合作。Yesha 博士以作者或编辑的身份出版了 11 本书,并在著名期刊和会议论文集上发表了 200 多篇论文,她已获得总计超过 6500 万美元的外部资助。她目前正在与领先的工业公司和政府机构合作,研究区块链、网络安全和大数据分析领域的新创新技术,并将其应用于电子商务、气候变化和数字医疗。Yesha 博士是 IBM 高级研究中心的研究员。