XiaoMi-AI文件搜索系统
World File Search SystemDCNNS
使用经过训练以模仿大脑统计特性的神经网络来提高物体识别能力
目前最先进的物体识别算法——深度卷积神经网络 (DCNN)，灵感来自哺乳动物视觉系统的架构，在许多任务上能够达到人类水平的表现。在对 DCNN 进行物体识别任务训练时，已证明 DCNN 能够开发出与哺乳动物视觉系统中观察到的隐藏表征相似的隐藏表征 (Razavi 和 Kriegeskorte，2014 年；Yamins 和 Dicarlo，2016 年；Gu 和 van Gerven，2015 年；Mcclure 和 Kriegeskorte，2016 年)。此外，在物体识别任务上训练的 DCNN 是目前我们拥有的哺乳动物视觉系统的最佳模型之一。这让我们假设，教导 DCNN 实现更像大脑的表征可以提高其性能。为了测试这一点，我们在一个复合任务上训练了 DCNN，其中网络被训练为：(a) 对物体图像进行分类；同时 (b) 具有与猴子视觉皮层神经记录中观察到的中间表征相似的中间表征。与纯粹为对象分类而训练的 DCNN 相比，在复合任务上训练的 DCNN 具有更好的对象识别性能，并且对标签损坏的鲁棒性更强。有趣的是，我们发现这个过程不需要神经数据，但具有与神经数据相同统计特性的随机数据也会提高性能。虽然我们在复合任务上训练时观察到的性能提升与“纯”对象识别任务相比并不大，但它们非常稳健。值得注意的是，我们在研究的所有网络变体中都观察到了这些性能提升，包括：较小（CORNet-Z）与较大（VGG-16）架构；优化器的变化（Adam 与梯度下降）；激活函数的变化（ReLU 与 ELU）；以及网络初始化的变化。我们的结果证明了一种训练对象识别网络的新方法的潜在效用，使用大脑（或至少是其激活模式的统计特性）作为训练 DCNN 的教师信号的策略。© 2020 Elsevier Ltd. 保留所有权利。
生物和人工神经网络中的特权代表性轴
神经元如何编码信息？最近的工作强调了人口代码的特性，例如其几何形状和可解码信息，这些措施对神经反应的本地调谐（或“轴”）视而不见。，但是这些代表性轴是否有系统地对其他轴进行特权？为了找出答案，我们开发了测试跨大脑和深度卷积神经网络（DCNNS）的神经调节的方法。在视觉和试镜中，大脑和DCNN都始终偏爱某些轴代表自然世界。此外，在NAT-URAL输入中训练的DCNN的代表轴与感知性皮质中的轴对齐，从而使对轴敏感的模型 - 脑相似性指标更好地分化了生物感觉系统的竞争模型。我们进一步表明，对某些轴的特权编码方案可以降低下游布线成本并改善概括。这些结果激发了一个新的框架，以了解生物和人工网络中的神经调整及其计算益处。
颅内脑电图和深度神经网络揭示面部身份和表情表征的共同基础
根据面部感知的经典观点（ Bruce and Young, 1986 ; Haxby et al., 2000 ），面部身份和面部表情识别由不同的神经基质（分别为腹侧和外侧颞叶面部选择区域）执行。然而，最近的研究挑战了这一观点，表明表达效价也可以从腹侧区域解码（ Skerry and Saxe, 2014 ; Li et al., 2019 ），身份也可以从外侧区域解码（ Anzellotti and Caramazza, 2017 ）。如果专门负责一项任务（身份或表情）的区域包含另一项任务的少量信息（从而实现高于机会的解码），则这些发现可以与经典观点相一致。在这种情况下，我们预计侧面区域的表征与经过训练以识别面部表情的深度卷积神经网络 (DCNN) 中的表征更相似，而不是经过训练以识别面部身份的 DCNN 中的表征（对于腹侧区域，情况应该相反）。我们通过分析对不同身份和表情的面部的神经反应来检验这一假设。将从人类颅内记录（n = 11 名成年人；7 名女性）计算得出的表征相异矩阵 (RDM) 与经过训练以标记身份或表情的 DCNN 的 RDM 进行了比较。我们发现，在所有测试区域中，经过训练以识别身份的 DCNN 的 RDM 与颅内记录的相关性更强——即使在传统上假设专门用于表情的区域也是如此。这些结果偏离了传统观点，表明面部选择性腹侧和侧面区域有助于身份和表情的表征。
深卷卷神经网络基于脑肿瘤的自动检测
摘要 - 深度卷积神经网络（DCNN）已被广泛研究以在生物医学图像处理领域进行不同类型的检测和分类。其中许多产生的结果与放射科医生和神经病学家相比，与之相当甚至更好。但是，从此类DCNN中获得良好结果的挑战是大型数据集的要求。在本研究中，本研究介绍了一种独特的基于单模型的方法，用于对小数据集进行分类。使用了一个称为regnety-3.2g的修改后的DCNN，与正则化掉落和下降块集成在一起，以防止过度拟合。此外，一种改进的增强技术称为randaugment来减轻小数据集的问题。最后，MWNL（多加权的新损失）方法和端到端CLS（累积学习策略）用于解决样本规模不平等的问题，分类中的复杂性以及降低样本对培训的影响。索引术语 - 脑部肿瘤，深度学习，机器学习，数据增强，卷积神经网络，MRI
存在物体场景规律的人类和人工视觉系统中的表征层次
人类视觉在很大程度上仍未得到解释。计算机视觉在这方面取得了令人瞩目的进展，但目前仍不清楚人工神经网络在行为和神经层面上与人类物体视觉的近似程度。在这里，我们研究了机器物体视觉是否模仿人类物体视觉的表征层次结构，其实验设计允许测试动物和场景的域内表征，以及反映其现实世界上下文规律的跨域表征，例如在视觉环境中经常同时出现的动物场景对。我们发现，在物体识别中训练的 DCNN 在其后期处理阶段获得的表征可以紧密捕捉人类对动物及其典型场景同时出现的概念判断。同样，DCNN 的表征层次结构与特定领域的腹颞区到领域通用的前顶区中出现的表征转换显示出惊人的相似性。尽管有这些显著的相似性，但底层的信息处理却不同。神经网络学习类似于人类的物体-场景共现高级概念表示的能力取决于图像集中存在的物体-场景共现量，从而凸显了训练历史的根本作用。此外，尽管中/高级 DCNN 层代表了 VTC 中观察到的动物和场景的类别划分，但其信息内容显示出领域特定表示丰富度的降低。总之，通过测试域内和域间选择性，同时操纵上下文规律，我们揭示了人类和人工视觉系统所采用的信息处理策略中未知的相似之处和差异。
迁移学习和 SpecAugment 应用于基于 SSVEP 的 BCI 分类
目标：我们使用深度卷积神经网络 (DCNN) 对基于稳态视觉诱发电位 (SSVEP) 的单通道脑机接口 (BCI) 中的脑电图 (EEG) 信号进行分类，该接口不需要用户进行校准。方法：EEG 信号被转换为频谱图，并作为输入，使用迁移学习技术训练 DCNN。我们还修改并应用了一种通常用于语音识别的数据增强方法 SpecAugment。此外，为了进行比较，我们使用支持向量机 (SVM) 和滤波器组典型相关分析 (FBCCA) 对 SSVEP 数据集进行了分类。结果：从微调过程中排除评估用户的数据后，我们使用较小的数据长度（0.5 秒）、仅一个电极（Oz）和具有迁移学习、窗口切片（WS）和 SpecAugment 时间掩码的 DCNN，对来自开放数据集的 35 名受试者实现了 82.2% 的平均测试准确率和 0.825 的平均 F1 分数。结论：使用单个电极和较小的数据长度，DCNN 结果优于 SVM 和 FBCCA 性能。迁移学习提供的准确率变化很小，但使训练速度更快。SpecAugment 实现了小幅性能改进，并成功与 WS 结合，获得了更高的准确率。意义：我们提出了一种使用 DCNN 解决 SSVEP 分类问题的新方法。我们还修改了语音识别数据增强技术并将其应用于 BCI 环境中。所提出的方法在数据长度较小且只有一个电极的 BCI 中超越了 FBCCA 和 SVM（更传统的 SSVEP 分类方法）所获得的性能。这种类型的 BCI 可用于开发小型快速系统。
基于深度卷积神经网络的癫痫脑电图（EEG）信号分类
脑电图 (EEG) 信号包含有关大脑电活动的重要信息，被广泛用于辅助癫痫分析。癫痫诊断中一个具有挑战性的要素，即对不同癫痫状态的准确分类，尤其令人感兴趣并得到了广泛的研究。本文提出了一种基于深度学习的新型分类方法，即癫痫脑电信号分类 (EESC)。该方法首先将癫痫脑电信号转换为功率谱密度能量图 (PSDED)，然后应用深度卷积神经网络 (DCNN) 和迁移学习从 PSDED 中自动提取特征，最后对四类癫痫状态进行分类 (发作间期、发作前持续时间至 30 分钟、发作前持续时间至 10 分钟和癫痫发作)。它在准确性和效率方面优于现有的癫痫分类方法。例如，在 CHB-MIT 癫痫脑电图数据的案例研究中，它实现了超过 90% 的平均分类准确率。
人工智能技术在...中的应用
摘要 — 心肌梗死 (MI) 是由于血流不足而导致心肌损伤。MI 是全球中老年人最常见的死亡原因。为了诊断 MI，临床医生需要解释心电图 (ECG) 信号，这需要专业知识并且容易受到观察者偏见的影响。基于人工智能的方法可用于使用 ECG 信号自动筛查或诊断 MI。在这项工作中，我们对基于 ECG 以及其他生物物理信号的 MI 检测人工智能方法进行了全面评估，包括机器学习 (ML) 和深度学习 (DL) 模型。传统 ML 方法的性能依赖于手工制作的特征和手动选择 ECG 信号，而 DL 模型可以自动执行这些任务。该评论发现深度卷积神经网络 (DCNN) 在 MI 诊断中具有出色的分类性能，这解释了为什么它们近年来变得流行。据我们所知，这是首次全面调查使用 ECG 和其他生物物理信号进行 MI 诊断的人工智能技术。
迈向大规模脉冲神经网络
摘要 —深度学习彻底改变了人工智能 (AI)，在计算机视觉、语音识别和自然语言处理等领域取得了显著进步。此外，大型语言模型 (LLM) 的最新成功推动了对大规模神经网络的研究热潮。然而，对计算资源和能源消耗的不断增长的需求促使人们寻找节能的替代方案。受人脑的启发，脉冲神经网络 (SNN) 有望通过事件驱动的脉冲实现节能计算。为了为构建节能的大型 SNN 模型提供未来方向，我们概述了开发深度脉冲神经网络的现有方法，重点关注新兴的脉冲 Transformer。我们的主要贡献如下：（1）深度脉冲神经网络的学习方法概述，按 ANN 到 SNN 的转换和使用代理梯度的直接训练分类；（2）深度脉冲神经网络的网络架构概述，按深度卷积神经网络 (DCNN) 和 Transformer 架构分类； （3）对最先进的深度 SNN 进行全面比较，重点关注新兴的 Spiking Transformers。然后，我们进一步讨论并概述了大规模 SNN 的未来发展方向。
基于序列到序列变压器结构
摘要：近年来，图像复制移动伪造（CMFD）的检测已成为验证数字图像的真实性的关键挑战，尤其是随着图像操纵技术的迅速发展。虽然深度卷积神经网络（DCNN）已被广泛用于CMFD任务，但它们通常受到一个显着限制的阻碍：编码过程中空间分辨率的逐步减少，这导致了关键图像细节的丢失。这些细节对于图像复制移动伪造的准确检测和定位至关重要。为了克服现有方法的局限性，本文提出了一种基于变压器的CMFD和本地化方法，作为传统DCNN技术的替代方法。所提出的方法采用变压器结构作为编码器来以序列到序列方式处理图像，用自我发项计算代替以前方法的特征相关计算。这使该模型可以捕获图像中的远程依赖性和上下文细微差别，从而保留了通常在基于DCNN的方法中丢失的更细节。此外，还利用了适当的解码器来确保图像特征的精确重建，从而提高了检测准确性和定位精度。实验结果表明，所提出的模型在USCISI等基准数据集上实现了出色的性能，用于图像复制移动伪造的检测。这些结果表明了变压器体系结构在推进图像伪造检测领域的潜力，并为未来的研究提供了有希望的方向。