深度卷积神经网络(DCNN)的预训练在视觉情绪分析(VSA)领域起着至关重要的作用。大多数提出的方法都采用在大型物体分类数据集(即 ImageNet)上预训练的现成的主干网络。虽然与随机初始化模型状态相比,它在很大程度上提高了性能,但我们认为,仅在 ImageNet 上进行预训练的 DCNN 可能过于注重识别物体,而未能提供情绪方面的高级概念。为了解决这个长期被忽视的问题,我们提出了一种基于人类视觉情绪感知(VSP)机制的面向情绪的预训练方法。具体而言,我们将 VSP 的过程分为三个步骤,即刺激接受、整体组织和高级感知。通过模仿每个 VSP 步骤,我们通过设计的情绪感知任务分别对三个模型进行预训练,以挖掘情绪区分的表示。此外,结合我们精心设计的多模型融合策略,从每个感知步骤中学习到的先验知识可以有效地转移到单个目标模型中,从而获得显着的性能提升。最后,我们通过大量实验验证了我们提出的方法的优越性,涵盖了从单标签学习(SLL)、多标签学习(MLL)到标签分布学习(LDL)的主流 VSA 任务。实验结果表明,我们提出的方法在这些下游任务中取得了一致的改进。我们的代码发布在 https://github.com/tinglyfeng/sentiment_pretraining 。
摘要:脑电图 (EEG) 信号中的自动情绪识别可视为脑机接口 (BCI) 系统的主要组成部分。在过去的几年中,许多该方向的研究人员提出了各种从 EEG 信号中自动分类情绪的算法,并取得了令人鼓舞的成果;然而,缺乏稳定性、高误差和低准确度仍然被认为是这项研究的主要差距。为此,获得一个具有稳定性、高精度和低误差前提的模型对于自动分类情绪至关重要。在本研究中,提出了一种基于深度卷积神经网络 (DCNN) 的模型,该模型可以高可靠性地从基于音乐刺激的 EEG 信号中分类出三种积极、消极和中性情绪。为此,在志愿者听积极和消极音乐以刺激情绪状态时,收集了一个全面的 EEG 信号数据库。所提出的模型的架构由六个卷积层和两个完全连接层的组合组成。本研究研究了不同的特征学习和手工特征选择/提取算法,并相互比较了它们对情绪的分类。所提出的两类(正面和负面)和三类(正面、中性和负面)情绪分类模型的准确率分别为 98% 和 96%,与之前的研究结果相比,这一结果非常有希望。为了更全面地评估,所提出的模型还在噪声环境中进行了研究;在各种不同的 SNR 下,分类准确率仍然大于 90%。由于所提出的模型性能高,它可以用于脑机用户环境。
通过结肠镜检查早期发现和切除腺瘤性息肉仍被认为是预防结直肠癌 (CRC) 的金标准。然而,25% 的腺瘤在检查中被遗漏,这与间隔 CRC 显著相关 [1, 2]。一些研究表明,更高质量的结肠镜退出技术与更低的腺瘤漏诊率相关,并且四项互补的技能有助于提高结肠镜筛查中的检查质量:1) 折叠检查,2) 黏膜清洁,3) 管腔扩张,和 4) 观察时间的充分性 [3]。据报道,作为主要因素,折叠检查与由于结肠镜检查盲点而未出现在视野中的息肉显著相关 [4]。因此,强烈建议在结肠镜检查期间进行折叠检查以评估结肠镜退出技术。然而,缺乏质量监督体系给结肠镜检查质控带来很大挑战。近年来,深度卷积神经网络(DCNN)已成功用于息肉的实时检测,以及肠道准备、拔出速度和拔出时间的评估[5-8]。这些研究表明人工智能(AI)可以间接提高结肠镜检查的质量控制。然而,到目前为止,还没有研究报道使用DCNN对结肠镜拔出技术进行褶皱检查质量(FEQ)评估。本研究旨在开发一种基于人工智能的结肠镜拔出技术FEQ评估系统,并确定该系统对FEQ的评估与专家确定的全结肠FEQ评分之间的关系。我们还旨在分析 FEQ 评分与历史腺瘤检测率 (ADR) 和个体结肠镜检查医师平均退出时间之间的关系,并评估使用基于 AI 的系统是否可以改善临床实践中的 FEQ。