本报告是由美国政府某个机构资助的工作报告。美国政府或其任何机构、其雇员、承包商、分包商或其雇员均不对所披露信息、设备、产品或流程的准确性、完整性或任何第三方的使用或此类使用结果做任何明示或暗示的保证,或承担任何法律责任或义务,或表示其使用不会侵犯私有权利。本文以商品名、商标、制造商或其他方式提及任何特定商业产品、流程或服务,并不一定构成或暗示美国政府或其任何机构、其承包商或分包商对其的认可、推荐或支持。本文表达的作者的观点和意见不一定代表或反映美国政府或其任何机构的观点和意见。
我们开发了一个用于构建可变形模板的学习框架,该模板在许多图像分析和计算解剖学任务中起着基础性作用。用于模板创建和图像与模板对齐的传统方法经历了数十年的丰富技术发展。在这些框架中,模板是使用模板估计和对齐的迭代过程构建的,这通常在计算上非常昂贵。部分由于这一缺点,大多数方法为整个图像群体计算单个模板,或为数据的特定子组计算几个模板。在这项工作中,我们提出了一个概率模型和有效的学习策略,该模型和有效的学习策略可以产生通用或条件模板,并与一个神经网络联合使用,该神经网络可以有效地将图像与这些模板对齐。我们展示了该方法在各种领域的实用性,特别关注神经成像。这对于不存在预先存在的模板的临床应用特别有用,或者使用传统方法创建新模板的成本可能过高。我们的代码和地图集可作为 VoxelMorph 库的一部分在线获取,网址为 http://voxelmorph.csail.mit.edu 。
摘要 – 精确和新颖的脑癌 MR 图像处理在决策和患者治疗决策中发挥着重要作用。MR 图像处理中的关键挑战是 X 射线设备捕获的低级视觉数据与人类评估者看到的高级数据之间的语义差距。传统的系统控制模型仅适用于低级或高级技能,使用一些手工定制的元素来缩小这个差距,并且需要精确的元素提取和分类方法。深度学习的最新进展表明,深度学习取得了巨大进步,并且深度学习卷积神经网络 (CNN) 已在图像分类项目中占据主导地位。深度学习对于特征描述非常有用,它可以完整地描述低级和高级数据,并将元素提取和分类部分植入自我意识中,但总体上需要巨大的训练数据集。对于大多数深度学习情况,训练数据集很小,因此,在小数据集上练习深度学习和训练 CNN 是一项艰巨的任务。针对这一问题,我们使用了预训练的深度 CNN 模型。我们的方法更稳定,因为它不使用任何精心构建的技能,只需要很少的预处理,并且可以在 5 次重叠移动验证下获得 95.51% 的平均精度。我们不仅使用传统的机器学习来测试我们的结果,而且还使用 CNN 的深度学习技术来测试我们的结果。试验结果表明,我们提出的方法在 MRI 数据集上超越了现代类别
摘要 — 有效学习脑电图 (EEG) 信号中的时间动态具有挑战性,但对于使用脑机接口 (BCI) 解码大脑活动至关重要。尽管 Transformers 因其长期顺序学习能力在 BCI 领域广受欢迎,但大多数将 Transformers 与卷积神经网络 (CNN) 相结合的方法都无法捕捉 EEG 信号从粗到细的时间动态。为了克服这一限制,我们引入了 EEG-Deformer,它将两个主要的新组件合并到 CNN-Transformer 中:(1) 分层粗到细 Transformer (HCT) 块,将细粒度时间学习 (FTL) 分支集成到 Transformers 中,有效辨别从粗到细的时间模式;(2) 密集信息净化 (DIP) 模块,利用多级、净化的时间信息来提高解码准确性。对三项代表性认知任务(认知注意力、驾驶疲劳和心理负荷检测)进行的全面实验一致证实了我们提出的 EEG-Deformer 的通用性,表明它的表现优于或与现有的最先进方法相当。可视化结果表明,EEG-Deformer 从神经生理学上有意义的大脑区域学习相应的认知任务。源代码可在 https://github.com/yi-ding-cs/EEG-Deformer 找到。
在图像处理领域,众所周知的模型是卷积神经网络或CNN。设置该模型的独特好处是其使用数据中包含的相关信息的非凡能力。即使取得了惊人的成就,传统的CNN也可能在概括,准确性和计算经济方面进一步改善。但是,如果模型或数据维度太大,则正确训练CNN并快速处理信息可能具有挑战性。这是因为它将导致数据处理滞后。量子卷积神经网络(简称QCNN)是一种新颖的量子解决方案,可以增强现有学习模型的功能或解决需要将量子计算与CNN组合组合的问题。为了强调量子电路在提高特征提取能力方面的灵活性和多功能性,本文比较了针对基于图像的任务的深度量子电路体系结构,它使用经典的卷积神经网络(CNNS)和一种新颖的量子电路体系结构进行了比较。使用COVIDX-CXR4数据集用于训练量子CNN模型,并将其结果与其他模型的结果进行了比较。结果表明,当与创新的特征提取方法配对时,建议的深量子卷积神经网络(QCNN)在处理速度和识别精度方面优于常规CNN。即使需要更多的处理时间,QCNN就识别准确性而优于CNN。在对Covidx-CXR4数据集进行训练时,这种优势变得更加明显,证明了更深的量子计算有可能完全改变图像分类问题的潜力。
摘要 - 神经网络(NNS)已经证明了它们在从计算机视觉到自然语言处理的各个领域中的潜力。在各种NN中,二维(2D)和三维(3D)卷积神经网络(CNN)在广泛的应用中已被广泛采用,例如图像分类和视频识别,因为它们在提取2D和3D特征方面具有出色的功能。但是,标准的2D和3D CNN无法捕获其模型不确定性,这对于包括医疗保健和自动驾驶在内的许多关键安全应用至关重要。相比之下,作为CNN的一种变体,贝叶斯卷积神经网络(贝叶斯)(贝叶斯)已经证明了它们通过数学基础在预测中表达不确定性的能力。尽管如此,由于采样和随后的前向通过多次通过了整个网络,因此贝内斯科的计算要求并未在工业实践中广泛使用。结果,与标准CNN相比,这些过程显着增加了计算和内存消耗量。本文提出了一种新型的基于FPGA的硬件体系结构,以加速通过Monte Carlo辍学推断的2D和3D贝内斯科。与其他最先进的加速器相比,贝内斯科的设计可以达到高达高达能量效率的4倍,而计算效率的9倍。考虑部分贝叶斯推断,提出了一个自动框架,以探索硬件和算法性能之间的权衡。进行了大量实验,以证明我们提出的框架可以有效地发现设计空间中的最佳点。
图像字幕(自动生成图像的描述标题的任务)由于其潜力弥合视觉和语言理解之间的差距而引起了极大的关注。随着深度学习的进步,尤其是用于序列产生的特征提取和复发神经网络(RNN)的卷积神经网络(CNN),神经图像标题发生器在产生的字幕的质量和流利程度上都取得了重大进展。本文调查了图像字幕技术的演变,从传统模型到现代深度学习方法,包括使用变压器和多峰模型。我们讨论了关键组件,例如图像表示,字幕生成和注意机制,并检查大规模数据集和评估指标的作用。尽管取得了长足的进步,但在语义理解,上下文相关性和处理偏见等领域仍存在挑战。这项调查以研究目前的研究状态并概述了该领域的潜在方向,包括探索零射击学习,多模式集成以及改善字幕模型的概括。
机器学习 (ML) 算法已应用于医学成像,其在医学领域的使用日益增多。尤其是深度学习 (DL),已证明在图像评估和处理方面更为有效。深度学习算法可能有助于并简化其在泌尿科成像中的使用。本文介绍了如何创建用于泌尿科图像分析的卷积神经网络 (CNN) 算法。深度学习是 ML 的一个分支,包括多层神经网络。卷积神经网络已广泛应用于图像分类和数据处理。1 它首先由 Krizhevsky 等人应用于图像分类。2 他们在 2012 年 ImageNet 大规模视觉识别挑战赛 (ILSVRC) 中凭借名为 AlexNet 的深度 CNN 赢得了比赛,该比赛由 120 万张日常彩色图像组成。3 在另一个 CNN 模型中,Lakhani 等人 4 证明他们
摘要 — 医学图像分类是医疗保健领域的一个重要关注领域,它涉及准确分类图像中的异常或异常。它需要快速准确的分类以确保对患者进行适当和及时的治疗。本文介绍了一种基于卷积神经网络 (CNN) 的模型,该模型利用 VGG16 架构进行医学图像分类,特别是在脑肿瘤和阿尔茨海默氏症数据集中。VGG16 架构以其提取重要特征的卓越能力而闻名,这对医学图像分类至关重要。为了提高诊断的准确性,进行了详细的实验设置,其中包括精心选择和组织涵盖数据集中不同疾病和异常的医学图像集合。然后调整模型的架构以实现图像分类的最佳性能。结果显示该模型在识别医学图像中的异常方面的效率,尤其是对于脑肿瘤数据集。给出了灵敏度、特异性和 F1 分数评估指标,强调了该模型准确区分各种医学图像疾病的能力。关键词——深度学习、卷积神经网络 (CNN)、VGG-16、医学图像分类。