摘要在当今快速的技术进步时代,卷积神经网络(CNN)在许多领域都表现出了卓越的表现。作为深度学习的关键组成部分,CNN已被证明在各种应用程序中都非常有效。由于计算和存储要求,在现场可编程门阵列(FPGA)上部署CNN是一项具有挑战性的任务。本文对FPGA上的CNN部署进行了全面的审查,涵盖了CNN的历史并解释了关键层。对FPGA优化方法进行了一项调查,FPGA优化的方法是按类别概述的。对软件部署以及硬件设计进行了优化,以改善FPGA上的计算,进一步解锁了在资源受限设备上部署CNN的潜力。此外,本综述将详细介绍了在功耗限制下的申请示例。总的来说,这篇评论为研究人员提供了重要的参考价值,以了解CNNS架构,探索FPGA加速方法和应用程序前景。
人工智能工具,尤其是卷积神经网络(CNN),正在通过增强预测性,诊断和决策能力来改变医疗保健。本综述为临床医生提供了CNN的可访问且实用的解释,并强调了它们在医学图像分析中的相关性。cnns显示自己在计算机视觉中非常有用,该字段使机器能够“看到”并解释视觉数据。了解这些模型的工作方式可以帮助临床医生充分利用其全部潜力,尤其是当人工智能继续发展并融入医疗保健时。CNN已经在包括放射学,组织病理学和医学摄影在内的各种医学领域证明了它们的功效。在放射学中,CNN已被用来自动化肺炎,肺栓塞和直肠癌等疾病的评估。 在组织病理学中,CNN已用于评估和分类结直肠息肉,胃上皮肿瘤,并有助于评估多种恶性肿瘤。 在医学摄影中,CNN已用于评估视网膜疾病和皮肤状况,并在内窥镜手术过程中检测胃和大肠息肉。 在手术腹腔镜检查中,它们可以为外科医生提供术中辅助,有助于解释手术解剖结构并证明安全的解剖区。 将CNN集成到医学图像分析中有望提高诊断准确性,简化工作流程效率并扩大对专家级图像分析的访问权限,从而有助于实现进一步改善患者和医疗保健结果的最终目标。在放射学中,CNN已被用来自动化肺炎,肺栓塞和直肠癌等疾病的评估。在组织病理学中,CNN已用于评估和分类结直肠息肉,胃上皮肿瘤,并有助于评估多种恶性肿瘤。 在医学摄影中,CNN已用于评估视网膜疾病和皮肤状况,并在内窥镜手术过程中检测胃和大肠息肉。 在手术腹腔镜检查中,它们可以为外科医生提供术中辅助,有助于解释手术解剖结构并证明安全的解剖区。 将CNN集成到医学图像分析中有望提高诊断准确性,简化工作流程效率并扩大对专家级图像分析的访问权限,从而有助于实现进一步改善患者和医疗保健结果的最终目标。在组织病理学中,CNN已用于评估和分类结直肠息肉,胃上皮肿瘤,并有助于评估多种恶性肿瘤。在医学摄影中,CNN已用于评估视网膜疾病和皮肤状况,并在内窥镜手术过程中检测胃和大肠息肉。在手术腹腔镜检查中,它们可以为外科医生提供术中辅助,有助于解释手术解剖结构并证明安全的解剖区。将CNN集成到医学图像分析中有望提高诊断准确性,简化工作流程效率并扩大对专家级图像分析的访问权限,从而有助于实现进一步改善患者和医疗保健结果的最终目标。
卷积神经网络 (CNN) 逐渐被神经影像学界认可为图像分析的强大工具。尽管它们性能出色,但 CNN 功能的某些方面仍未得到人类操作员的充分理解。我们假设,通过研究 CNN 在输入已知特征的数据时的行为,可以提高应用于神经影像数据的 CNN 的可解释性。我们分析了 3D CNN 区分从扩散加权磁共振成像获得的原始和改变的全脑参数图的能力。改变包括线性改变每个脑体积中一个(单区域)或两个(双区域)解剖区域的体素强度,但不模仿任何神经病理学。通过进行十倍交叉验证并使用保留集进行测试,我们根据改变区域的强度评估了 CNN 的辨别能力,比较了后者的大小和相对位置。单区域 CNN 表明,修改的区域越大,实现良好性能所需的强度增加越小。双区域 CNN 的表现优于单区域 CNN,但在相应的单区域图像上进行测试时,只能检测到两个目标区域中的一个。利用训练数据的先验信息可以更好地理解 CNN 行为,尤其是在组合改变的区域时。这可以告知 CNN 模式检索的复杂性并阐明错误分类的示例,这对于病理数据尤其重要。所提出的分析方法可能有助于深入了解 CNN 行为并指导利用我们先验知识的增强检测系统的设计。
Abstract: In brain imaging segmentation, precise tumor delineation is crucial for diagnosis and treatment planning. Traditional approaches include convolutional neural networks (CNNs), which struggle with processing sequential data, and transformer models that face limitations in maintaining computational efficiency with large-scale data. This study introduces MambaBTS: a model that synergizes the strengths of CNNs and transformers, is inspired by the Mamba architecture, and integrates cascade residual multi-scale convolutional kernels. The model employs a mixed loss function that blends dice loss with cross-entropy to refine segmentation accuracy effectively. This novel approach reduces computational complexity, enhances the receptive field, and demonstrates superior performance for accurately segmenting brain tumors in MRI images. Experiments on the MICCAI BraTS 2019 dataset show that MambaBTS achieves dice coefficients of 0.8450 for the whole tumor (WT), 0.8606 for the tumor core (TC), and 0.7796 for the enhancing tumor (ET) and outperforms existing models in terms of accuracy, computational efficiency, and parameter efficiency. These results underscore the model's potential to offer a balanced, efficient, and effective segmentation method, overcoming the constraints of existing models and promising significant improvements in clinical diagnostics and planning.
摘要在计算组织病理学领域,计算机辅助诊断系统对于获得各种疾病的患者诊断和有助于精确医学很重要。因此,已经报道了许多关于数字病理图像的自动分析方法的研究。在这项工作中,我们讨论了一种自动提取和疾病阶段分类方法多形胶质母细胞瘤(GBM)组织病理学图像。在本文中,我们使用深层卷发神经网络(深CNN)同时获取功能描述符和分类方案。此外,在这个充满挑战的分类问题中,与其他流行的CNN进行了客观和定量的比较。使用癌症基因组图像的胶质瘤图像的实验表明,我们的网络平均分类准确性为96:5%,而对于更高的交叉验证,其他网络的性能相似,较高的精度为98:0%。深CNN可以以高精度从GBM组织病理学图像中提取显着特征。总的来说,具有深CNN的组织病理学图像的GBM疾病阶段分类非常有前途,并且在大规模组织病理学图像数据的可用性中,深CNN非常适合解决这个挑战性问题。
该项目的重点是利用卷积神经网络(CNNS)(一种专门的深度学习模型)来分析和分类皮肤图像。通过在标记的皮肤图像的不同数据集上训练模型,系统可以识别与特定疾病相关的模式和特征。这种方法不仅提高了诊断准确性,而且还可以减少医疗保健专业人员的工作量。该项目旨在证明AI驱动工具在增强医疗保健可及性和支持皮肤状况的早期诊断方面的潜力。
抽象的深度学习模型,例如卷积神经网络(CNN)和视觉变压器(VIT),在MRI图像上脑损伤的分类中已经实现了最先进的性能。但是,这种类型的图像的复杂性要求CNN使用具有更多参数的更深层体系结构,以有效地捕获其高维特征和微妙的变化。一方面,VIT提供了一种应对这一挑战的不同方法,但是它们需要更大的数据集和更多的计算成本。在另一侧,整体深度学习技术(例如装袋,堆叠和增强)可以通过组合多个CNN模型来帮助减轻这些限制。这项研究探讨了这些方法,并使用三种方法进行比较,以评估其准确性和效率:基于CNN的转移学习,基于VIT的转移学习和集成深度学习技术,例如基于XGBOOST,ADABOOST方法,袋装,堆叠和提高。在四个具有不同级别的复杂性和脑部病变类型水平的MRI图像数据集上进行的实验表明,与已经存在的方法相比,CNN与集合技术的组合为单个CNN和VITs提供了非常有竞争力的性能,并具有有趣的改进。
卷积神经网络 (CNN) 在现代计算机视觉领域取得的显著成功已广为人知,人们越来越多地将其作为人类视觉系统的计算模型进行探索。在本文中,我们探讨 CNN 是否也能为高级认知建模提供基础,重点关注相似性和分类的核心现象。最重要的进步来自 CNN 能够学习复杂自然图像的高维表示,大大扩展了以前仅使用简单的人工刺激进行评估的传统认知模型的范围。在所有情况下,最成功的组合出现在将 CNN 表示与能够将其转换为更适合人类行为的认知模型结合使用时。这些见解的一个结果是将认知激励约束重新整合到计算机视觉和机器学习中的 CNN 训练范式中的工具包,并且我们回顾了这可以提高性能的案例。第二个结果是关于 CNN 和认知模型如何在未来更全面地整合的路线图,从而允许灵活的端到端算法从数据中学习表示,同时仍然保留人类认知的结构化行为特征。
建筑神经体系结构通常需要在机器学习领域的专业知识,在该领域中,需要对模型建设的过程拥有广泛的知识和复杂性。自动化机器学习(AUTOML)算法,旨在简化此过程,并根据给定数据集自动构建模型体系结构。 本论文研究了针对卷积神经网络(CNNS)Resnet 50,InceptionV 3和VGG 16的Autokeras(一种汽车算法)的性能,以实现面部情感识别的任务(FER)。 CNN由于其专门的空间学习架构而经常用于FER任务。 使用转移学习作为本文的主要方法,杠杆培训了CNN的预训练的成像网架构。 所有预训练的层都被冷冻,并且完全连接的层和分类层例外。 然后,在面部表情情绪的瓦阿赫加数据集上对他们进行培训。 Autokeras在同一数据集上进行了培训,但是它是其自己的预处理和模型构建形式。 结果表明,与三个CNN体系结构相比,汽车的性能出色,返回F 1分数为0。 82,而CNN返回得分为0。 41,0。 53和0。 62分别为50,InceptionV 3和VGG 16。 结果展示了汽车和CNN体系结构之间的大量学习差距,突显了汽车作为当今广泛使用的传统机器学习方法的潜在竞争者。自动化机器学习(AUTOML)算法,旨在简化此过程,并根据给定数据集自动构建模型体系结构。本论文研究了针对卷积神经网络(CNNS)Resnet 50,InceptionV 3和VGG 16的Autokeras(一种汽车算法)的性能,以实现面部情感识别的任务(FER)。CNN由于其专门的空间学习架构而经常用于FER任务。使用转移学习作为本文的主要方法,杠杆培训了CNN的预训练的成像网架构。所有预训练的层都被冷冻,并且完全连接的层和分类层例外。然后,在面部表情情绪的瓦阿赫加数据集上对他们进行培训。Autokeras在同一数据集上进行了培训,但是它是其自己的预处理和模型构建形式。结果表明,与三个CNN体系结构相比,汽车的性能出色,返回F 1分数为0。82,而CNN返回得分为0。41,0。53和0。62分别为50,InceptionV 3和VGG 16。结果展示了汽车和CNN体系结构之间的大量学习差距,突显了汽车作为当今广泛使用的传统机器学习方法的潜在竞争者。
人类和现在的计算机可以从感官事件中得出主观评价,尽管这种转化过程本质上是未知的。在这项研究中,我们通过将卷积神经网络 (CNN) 与人类的相应表征进行比较,阐明了未知的神经机制。具体而言,我们优化了 CNN 以预测绘画的审美评价,并通过多体素模式分析研究了 CNN 表征与大脑活动之间的关系。初级视觉皮层和高级关联皮层活动分别类似于浅层 CNN 和深层 CNN 中的计算。因此,视觉到价值的转换被证明是一个分层过程,与连接单模态到跨模态大脑区域(即默认模式网络)的主要梯度一致。额叶和顶叶皮层的活动由目标驱动的 CNN 近似。因此,可以通过与大脑活动的对应关系来理解和可视化 CNN 隐藏层的表征——促进人工智能与神经科学之间的相似性。