摘要 — 在人类语音脑信号解码研究的活跃研究领域中,可以发现新形式的人与人之间的交流尚未开发的潜力。脑机接口系统可以使用脑电图信号来实现,因为它的临床风险较小,并且可以使用便携式仪器获取。脑机接口系统最有趣的任务之一是从原始脑电图信号中解码单词。在新用户使用脑机接口之前,当前基于脑电图的脑机接口研究通常需要特定于受试者的适应阶段。相比之下,与受试者无关的情况是人们非常希望看到的,因为它允许将训练有素的模型应用于新用户,而无需或几乎不需要预校准。鉴于这一关键特性,重点是创建一个可以在与受试者无关的情况下自适应地使用的高效解码器。我们的建议是在卷积层之间明确应用跳跃连接,以实现层间相互信息的流动。为此,我们在层之间添加了跳跃连接,使互信息在层间流动。然后,编码器的输出通过全连接层,最终表示 13 个类的概率。在本研究中,使用显性语音记录了 16 名参与者的脑电图数据。结果表明,当存在跳跃连接时,分类性能显着提高。关键词–脑机接口,深度学习,脑电图,语音处理
正确且确定的脑肿瘤 MRI 分类在当前临床诊断、决策以及管理治疗方案中具有重要作用。在临床实践中,检查由专家通过视觉进行,这是一个劳动密集型且容易出错的过程。因此,需要基于计算机的系统来客观地执行此过程。在传统的机器学习方法中,提取并分类用于描述脑肿瘤 MRI 的低级和高级手工特征以克服上述缺点。考虑到深度学习的最新进展,我们在本研究中提出了一种新颖的卷积神经网络 (CNN) 模型,该模型结合了超列技术、预训练的 AlexNet 和 VGG-16 网络、递归特征消除 (RFE) 和支持向量机 (SVM)。所提模型的一大优势是,借助超列技术,它可以保留从深度架构不同层级的层中提取的局部判别特征。此外,所提模型通过融合从网络的最后全连接层获得的深度特征,充分利用了 AlexNet 和 VGG-16 网络的泛化能力。此外,使用 RFE 增强了所提模型的判别能力,从而揭示了最有效的深度特征。结果,所提模型在未使用任何手工制作的特征引擎的情况下获得了 96.77% 的准确率。确保了脑肿瘤 MRI 分类的全自动一致且有效的诊断模型。因此,所提模型有助于实现更客观的临床评估,支持专家的决策过程,并降低误诊率。
当前的大多数动作识别算法都是基于堆叠多个卷积,汇总和完全连接层的深网。虽然在文献中广泛研究了卷积和完全连接的操作,但处理动作识别的合并操作的设计,在行动类别中具有不同的时间颗粒状来源,但受到相对较少的关注,并且主要依赖于最大值或平均操作的解决方案。后者显然无能为力,无法完全表现出动作类别的实际时间粒度,从而构成了分类的瓶颈。在本文中,我们引入了一种新型的分层池设计,该设计在动作识别中捕获了不同级别的时间粒度。我们的设计原理是粗到精细的,并使用树结构网络实现;当我们自上而下时,当我们穿越该网络时,汇总操作的不变性越来越少,但及时坚决且本地化。通过解决一个约束的最小化问题来获得该网络中最适合给定的基础真相的操作组合(最适合给定的地面真相),该问题的解决方案对应于捕获全球层次层次合并过程中每个级别(及其时间粒度)贡献的权重分布。除了有原则性和扎根,提出的分层池也是视频长度和分辨率不可知的。对UCF-101,HMDB-51和JHMDB-21数据库进行挑战的广泛实验证实了所有这些陈述。关键字。多重聚合设计2流网络行动cop-nition
使用人工智能辅助图像分类器对初级内镜医师进行胃病变组织学预测培训的初步效果。方法 在具有五个卷积层和三个完全连接层的卷积神经网络上构建人工智能图像分类器,通过 2,000 个未放大的内镜胃图像训练 Resnet 主干。独立验证集由来自 100 个胃病变的另外 1,000 个内镜图像组成。六名初级内镜医师审查了验证集的第一部分,然后向其中三名(A 组)披露人工智能的预测,而其余三名(B 组)未提供此信息。所有内镜医师都独立审查了验证集的第二部分。结果 AI 的总体准确率为 91.0 %(95 % CI:89.2 – 92.7 %),敏感度为 97.1 %(95 % CI:95.6 – 98.7 %),特异度为 85.9 %(95 % CI:83.0 – 88.4 %),ROC 曲线下面积 (AUROC) 为 0.91(95 % CI:0.89 – 0.93)。在两个验证集中,AI 的准确度和 AUROC 均优于所有初级内镜医师。在第二个验证集中,A 组内镜医师的表现有所提高,但 B 组内镜医师没有提高(准确度为 69.3 % 到 74.7 %;P = 0.003)。结论 训练后的 AI 图像分类器可以准确预测胃病变中是否存在肿瘤成分。人工智能图像分类器的反馈还可以加快初级内窥镜医师预测胃病变组织学的学习曲线。
深度神经网络 (DNN) 是图像、语音和文本处理的最新技术。为了解决训练时间长和能耗高的问题,自定义加速器可以利用稀疏性,即零值权重、激活和梯度。提出的稀疏卷积神经网络 (CNN) 加速器支持使用不超过一个动态稀疏卷积输入进行训练。在现有的加速器类别中,唯一支持双面动态稀疏性的是基于外积的加速器。然而,当将卷积映射到外积时,会发生与任何有效输出都不对应的乘法。这些冗余笛卡尔积 (RCP) 降低了能源效率和性能。我们观察到在稀疏训练中,高达 90% 的计算都是 RCP,它们是由 CNN 训练后向传递期间大矩阵的卷积产生的,用于更新权重。在本文中,我们设计了一种机制 ANT 来预测和消除 RCP,与外积加速器结合使用时可以实现更高效的稀疏训练。通过预测超过 90% 的 RCP,在使用 DenseNet- 121 [ 38 ]、ResNet18 [ 35 ]、VGG16 [ 73 ]、Wide ResNet (WRN) [ 85 ] 和 ResNet-50 [ 35 ] 的 90% 稀疏训练中,ANT 比类 SCNN 加速器 [67] 实现了 3.71 倍的几何平均速度提升,能耗降低了 4.40 倍,面积增加了 0.0017 平方毫米。我们将 ANT 扩展到稀疏矩阵乘法,以便同一个加速器可以预测稀疏全连接层、Transformer 和 RNN 中的 RCP。
摘要:脑电图 (EEG) 信号中的自动情绪识别可视为脑机接口 (BCI) 系统的主要组成部分。在过去的几年中,许多该方向的研究人员提出了各种从 EEG 信号中自动分类情绪的算法,并取得了令人鼓舞的成果;然而,缺乏稳定性、高误差和低准确度仍然被认为是这项研究的主要差距。为此,获得一个具有稳定性、高精度和低误差前提的模型对于自动分类情绪至关重要。在本研究中,提出了一种基于深度卷积神经网络 (DCNN) 的模型,该模型可以高可靠性地从基于音乐刺激的 EEG 信号中分类出三种积极、消极和中性情绪。为此,在志愿者听积极和消极音乐以刺激情绪状态时,收集了一个全面的 EEG 信号数据库。所提出的模型的架构由六个卷积层和两个完全连接层的组合组成。本研究研究了不同的特征学习和手工特征选择/提取算法,并相互比较了它们对情绪的分类。所提出的两类(正面和负面)和三类(正面、中性和负面)情绪分类模型的准确率分别为 98% 和 96%,与之前的研究结果相比,这一结果非常有希望。为了更全面地评估,所提出的模型还在噪声环境中进行了研究;在各种不同的 SNR 下,分类准确率仍然大于 90%。由于所提出的模型性能高,它可以用于脑机用户环境。
摘要:准确识别人类的情绪状态对于高效的人机交互 (HRI) 至关重要。因此,我们见证了人们在开发基于各种生物信号的稳健且准确的脑机接口模型方面所做的大量研究。特别是,先前的研究表明,脑电图 (EEG) 可以深入了解情绪状态。最近,研究人员提出了各种手工制作的深度神经网络 (DNN) 模型来提取与情绪相关的特征,这些模型对噪声的鲁棒性有限,从而导致精度降低和计算复杂度增加。迄今为止开发的 DNN 模型被证明可有效提取与情绪分类相关的稳健特征;然而,它们巨大的特征维数问题导致了高计算负荷。在本文中,我们提出了一个混合深度特征袋 (BoHDF) 提取模型,用于将 EEG 信号分类到各自的情绪类别中。通过在特征提取阶段之前将 EEG 信号转换为 2D 频谱图,BoHDF 的不变性和鲁棒性得到进一步增强。这种时频表示与 EEG 模式的时变行为非常吻合。在这里,我们建议将 GoogLeNet 全连接层(最简单的 DNN 模型之一)的深度特征与我们最近开发的基于纹理的 OMTLBP_SMC 特征相结合,然后使用 K 最近邻 (KNN) 聚类算法。在 DEAP 和 SEED 数据库上进行评估时,所提出的模型分别实现了 93.83% 和 96.95% 的识别准确率。使用所提出的基于 BoHDF 的算法的实验结果显示,与之前报道的具有类似设置的工作相比,性能有所提高。
摘要 事件相关电位(ERP)反映了大脑对外部事件作出反应的神经生理变化,其背后的复杂时空特征信息受大脑内持续的振荡活动支配。深度学习方法以其出色的特征表示能力越来越多地被用于基于ERP的脑机接口(BCI),可以深入分析大脑内的振荡活动。时空频率较高的特征通常表示详细和局部的信息,而时空频率较低的特征通常表示全局结构。从多个时空频率中挖掘脑电特征有利于获得更多的判别性信息。本文提出了一种多尺度特征融合八度卷积神经网络(MOCNN)。MOCNN将ERP信号分为对应于不同分辨率的高频、中频和低频分量,并在不同的分支中进行处理。通过添加中频和低频分量,可以丰富MOCNN使用的特征信息,并减少所需的计算量。 MOCNN 在使用时间和空间卷积进行连续特征映射后,通过分支间特征信息交换实现不同组件间的交互式学习。将融合的深度时空特征从各个组件输入到全连接层,实现分类。在两个公共数据集和一个自采集的 ERP 数据集上获得的结果表明,MOCNN 可以实现最佳的 ERP 分类性能。本研究将广义的八度卷积概念引入到 ERP-BCI 研究领域,通过分支宽度优化和各个尺度上的信息交互,可以从多尺度网络中提取有效的时空特征。索引词——脑机接口、事件相关电位、深度学习、多尺度、八度卷积神经网络。
为了对AI具体的建筑模型进行全面的设计描述,将AI与建筑空间智能辅助模型深度融合,根据实际情况进行柔性设计。AI辅助生成建筑意向与建筑形态,主要支撑学术与工作理论模型,推动技术创新,进而提升建筑设计行业的设计效率。AI辅助建筑设计让每一位设计师都拥有了设计自由,同时在AI的帮助下,建筑设计能够更快更高效的完成相应的工作。在AI技术的帮助下,通过关键词的调整与优化,AI自动生成了一批建筑空间设计方案。在此背景下,通过对AI模型、建筑空间智能辅助模型的文献调研以及建筑空间的语义网络与内部结构分析,建立了建筑空间设计的辅助模型。其次,从数据源头保证符合建筑空间三维特征,在分析空间设计整体功能结构的基础上,开展基于深度学习辅助的建筑空间智能设计。最后,以UrbanScene3D数据集中选取的三维模型为研究对象,测试AI的建筑空间智能模型的辅助性能。研究结果表明,随着网络节点数量的增加,模型在测试数据集和训练数据集上的拟合度呈下降趋势,综合模型拟合曲线显示基于AI的建筑空间智能设计方案优于传统建筑设计方案;随着网络连接层节点数量的增加,空间温湿度智能得分将不断上升,模型能够达到最优的建筑空间智能辅助效果。该研究对于推动建筑空间设计的智能化、数字化转型具有实际应用价值。
大脑是一个复杂而动态的系统,由相互作用的集合及其时间演化组成。脑电图 (EEG) 记录的大脑活动在学习研究和应用领域中对解读人类的认知过程起着至关重要的作用。在现实世界中,人们对刺激的反应不同,并且大脑活动的持续时间因人而异。因此,实验中收集的试验中 EEG 记录的长度是可变的。然而,当前的方法要么固定每次试验的 EEG 记录长度,这会丢失隐藏在数据中的信息,要么使用滑动窗口,这会在切片的重叠部分消耗大量计算量。在本文中,我们提出了 TOO(仅遍历一次),一种处理可变长度 EEG 试验数据的新方法。TOO 是一种卷积仲裁投票方法,它通过卷积实现滑动窗口并用 1×1 卷积层替换全连接层来打破模型的固定结构。 1×1 卷积层生成的每个输出单元对应于滑动时间窗口创建的每个切片,这反映了认知状态的变化。Ten,TOO 对输出单元采用群体投票,并确定代表整个单次试验的认知状态。我们的方法为不同长度的试验提供了一个自适应模型,只需遍历每个试验的 EEG 数据一次即可识别认知状态。我们设计并实施了一个认知实验并获取了 EEG 数据。利用从该实验收集的数据,我们进行了评估,将 TOO 与最先进的滑动窗口端到端方法进行比较。结果表明,TOO 在试验级别获得了良好的准确率(83.58%),而计算量却低得多(11.16%)。它还可能用于其他应用领域的变量信号处理。
