在这些指示的指导下的位置。但是,有效地融合视觉和语言方式之间的信息仍然是一个重大挑战。为了实现自然语言和视觉信息的深入整合,本研究引入了多模式融合神经网络模型,该模型将视觉信息(RGB图像和深度图)与语言信息(自然语言导航指令)结合在一起。首先,我们使用更快的R-CNN和RESNET50来提取图像特征和注意机制,以进一步提取有效的信息。其次,GRU模型用于提取语言功能。最后,另一个GRU模型用于融合视觉语言功能,然后保留历史信息以将下一个动作指令提供给机器人。实验结果表明,所提出的方法有效地解决了机器人真空吸尘器的本地化和决策挑战。关键字:机器人真空吸尘器;视觉语言导航;多模式融合; Resnet50; gru;
线粒体在真核细胞的生命周期中起着至关重要的作用。但是,我们仍然不知道它们的超微结构(例如内膜的cristae)如何动态发展以调节这些基本功能,以响应外部条件或与其他细胞成分相互作用。尽管高分辨率的荧光显微镜与最近开发的创新探针可以揭示该结构组织,但它们的长期,快速和实时3D成像仍然具有挑战性。为了解决这个问题,我们开发了一个称为DeepCristae的卷积神经网络,以恢复低空间分辨率显微镜图像中的线粒体cristae。我们的网络是使用专门为Cristae修复设计的新型损失从2D Sted图像训练的。为了有效地增加训练集的大小,我们还开发了一个以线粒体区域为中心的随机图像贴片采样。为了评估deepcristae,使用我们得出的指标来进行定量评估,我们通过关注线粒体和cristae像素而不是像往常一样在整个图像上进行了定量评估。根据所示的使用条件,DeepCristae在广泛的显微镜模态(刺激的发射耗尽(STED),Live-SR,Airyscan和Lattice Light片显微镜下都很好地工作。它最终是在与内托/溶酶体膜相互作用期间的线粒体网络动力学的上下文中应用的。
这项研究提出了针对大脑图像的基于全球阈值的机器学习算法。对于每个段,该网络使用各种补丁大小和决策树收集多尺度数据,从而确保该方法捕获了准确的分割信息。对于该方法,只需要一个解剖学MR图像。此方法获得了De-Noise图片和清洁图像数据。脑功能障碍的主要原因包括脑部疾病或恶性肿瘤。肿瘤是一块很小的脑组织,无法控制地生长。世界上大多数人口都患有脑部疾病,近100亿人从脑肿瘤中丧生(Cha,2006)。这是大脑的MRI。找到肿瘤,使用MRI扫描。由于分段和
摘要 — 由于 GPU 具有针对 CNN 运算符量身定制的架构,因此它成为卷积神经网络 (CNN) 训练和推理阶段的参考平台。然而,GPU 是耗电极高的架构。在能耗受限的设备中部署 CNN 的一种方法是在推理阶段采用硬件加速器。由于其复杂性,使用标准方法(如 RTL)对 CNN 的设计空间探索受到限制。因此,设计人员需要能够进行设计空间探索的框架,该框架可提供准确的硬件估算指标来部署 CNN。这项工作提出了一个探索 CNN 设计空间的框架,提供功耗、性能和面积 (PPA) 估算。该框架的核心是一个系统模拟器。系统模拟器前端是 TensorFlow,后端是从硬件加速器的物理合成(而不仅仅是从乘法器和加法器等组件)获得的性能估算。第一组结果评估了使用整数量化的 CNN 精度、物理综合后的加速器 PPA 以及使用系统模拟器的好处。这些结果允许进行丰富的设计空间探索,从而能够选择最佳的 CNN 参数集以满足设计约束。
癫痫是一种神经系统疾病,以意外复发性发作为特征,影响着全球 1% 的人口 [1] [2]。由于癫痫发作的不确定性,它对患者的日常生活有很大影响,如果患者在危险情况下(例如开车、上下楼梯)癫痫发作,甚至会威胁患者的生命。因此,准确的癫痫发作预测对于帮助患者避免可能的伤害至关重要。脑电图是研究癫痫发作最常用的数据,根据所代表的人类大脑活动的不同状态,癫痫发作可分为四种类型,即发作前(癫痫发作前)、发作期(癫痫发作)、发作后(癫痫发作后)和发作间期(正常阶段)[3] [4] [5] [6]。通过使用机器学习或深度学习算法分析脑电图信号,可以区分发作前和发作间期,从而实现癫痫发作预测 [7] [8] [9]。机器学习算法依赖于手工制作的特征,原始EEG信号需要通过多种滤波技术进行预处理以消除噪声和伪影。带通滤波器、自适应滤波器、卡尔曼滤波器、维纳滤波器和贝叶斯滤波器是最常用的滤波技术[10][11]。例如,单变量谱功率[12]、脉冲率[13]、功率谱[14]、排列熵[15]和双谱熵[16]是以前基于机器学习的工作中使用过的特征。这些特征进一步输入到分类器(例如支持向量机(SVM)、多层感知器(MLP)、决策树)以获得预测结果。虽然机器学习方法是可行的,但手动处理EEG信号和复杂的特征工程使得
线粒体在真核细胞的生命周期中起着至关重要的作用。但是,我们仍然不知道它们的超微结构(例如内膜的cristae)如何动态发展以调节这些基本功能,以响应外部条件或与其他细胞成分相互作用。尽管高分辨率的荧光显微镜与最近开发的创新探针可以揭示该结构组织,但它们的长期,快速和实时3D成像仍然具有挑战性。为了解决这个问题,我们开发了一个称为DeepCristae的卷积神经网络,以恢复低空间分辨率显微镜图像中的线粒体cristae。我们的网络是使用专门为Cristae修复设计的新型损失从2D Sted图像训练的。为了有效地增加训练集的大小,我们还开发了一个以线粒体区域为中心的随机图像贴片采样。为了评估deepcristae,使用我们得出的指标来进行定量评估,我们通过关注线粒体和cristae像素而不是像往常一样在整个图像上进行了定量评估。根据所示的使用条件,DeepCristae在广泛的显微镜模态(刺激的发射耗尽(STED),Live-SR,Airyscan和Lattice Light片显微镜下都很好地工作。它最终是在与内托/溶酶体膜相互作用期间的线粒体网络动力学的上下文中应用的。
一种名为Deepfakes的新现象在视频操纵中构成了严重的威胁。基于AI的技术已经提供了易于使用的方法来创建极其现实的视频。在多媒体取证的一边,能够个性化这种假件变得更加重要。在这项工作中,提出了一种新的法医技术来检测假和原始视频序列;它基于使用受过训练的CNN,以通过利用光流场来区分视频序列的时间结构中可能的运动差异。获得的结果突出显示了最先进的方法,通常只诉诸单个视频帧。此外,提出的基于光流的检测方案在更现实的跨手术操作方案中还提供了卓越的鲁棒性,甚至可以与基于框架的方法相结合以提高其全球效率。
摘要 — 中风是一种疾病,当血管堵塞或出血时,会中断或减少大脑的血液供应,导致脑细胞开始死亡。它会导致多个器官残疾或意外死亡。中风患者的治愈时间取决于器官的症状和损伤。如果患者及时发现并缓解危险,则多达 80% 的病例可以避免中风。随着医学成像机器学习的进步,早期识别中风的可能性很大,这对诊断和了解这种致命疾病起着至关重要的作用。考虑到上述情况,在本文中,我们提出了一种卷积神经网络 (CNN) 模型作为一种解决方案,可在早期预测患者中风的概率,以实现最高的效率和准确性。该模型是多层感知器的改进版本,它包括信息、输出层和许多秘密层。预测模型中使用的数据集是医疗保健数据集,它具有 11 个特征,并且只有一个目标类作为结果。因此,我们还应用了一些特征选择方法来提取分类中贡献最大的特征。将模型准确率与其他机器学习模型进行了比较,发现该模型比其他模型更好,准确率达到 95.5%。索引术语 — 中风预测、机器学习方法、数据挖掘、神经网络、CNN
摘要 — 中风是一种疾病,当血管堵塞或出血时,会中断或减少大脑的血液供应,导致脑细胞开始死亡。它会导致多个器官残疾或意外死亡。中风患者的治愈时间取决于器官的症状和损伤。如果患者及时发现并缓解危险,则多达 80% 的病例可以避免中风。随着医学成像机器学习的进步,早期识别中风的可能性很大,这对诊断和了解这种致命疾病起着至关重要的作用。考虑到上述情况,在本文中,我们提出了一种卷积神经网络 (CNN) 模型作为一种解决方案,可在早期预测患者中风的概率,以实现最高的效率和准确性。该模型是多层感知器的改进版本,它包括信息、输出层和许多秘密层。预测模型中使用的数据集是医疗保健数据集,它具有 11 个特征,并且只有一个目标类作为结果。因此,我们还应用了一些特征选择方法来提取分类中贡献最大的特征。将模型准确率与其他机器学习模型进行了比较,发现该模型比其他模型更好,准确率达到 95.5%。索引术语 — 中风预测、机器学习方法、数据挖掘、神经网络、CNN
运动图像(MI)脑电图(EEG)分类是脑机构界面(BCI)的重要组成部分,使具有流动性问题的人可以通过辅助设备与外界进行通信。但是,由于其复杂性,动态性质和低信噪比,EEG解码是一项艰巨的任务。设计一个充分提取EEG信号的高级特征的端到端框架仍然是一个挑战。在这项研究中,我们提出了一个平行的空间 - 暂时性自我注意力,用于四级MI EEG信号分类。这项研究是定义原始脑电图信号的新时空表示的第一个研究,该信号使用自我注意力的机制提取可区分的时空特征。特别是,我们使用空间自我注意模块来捕获MI EEG信号通道之间的空间依赖性。此模块通过通过加权求和在所有通道上汇总特征来更新每个通道,从而提高了分类准确性并消除由手动通道选择引起的伪像。此外,时间自我发项模块将全局时间信息编码为每个采样时间步骤的特征,因此可以在时域中提取MI EEG信号的高级时间特征。定量分析表明,我们的方法优于主体内和受试者间分类的最先进方法,证明其稳健性和有效性。最后,采用提出的方法根据脑电图信号实现对无人机的控制,从而验证其在实时应用中的可行性。在定性分析方面,我们对从学到的架构估算的新时空表示形式进行视觉检查。