XiaoMi-AI文件搜索系统
World File Search System视觉刺激
![arXiv:2208.03666v4 [cs.MM] 2022 年 8 月 18 日](/simg/g:\will\search\icon\source\d\d3cf2227c80556a0a72faa9d1f5cccab39a92e30.webp)
arXiv:2208.03666v4 [cs.MM] 2022 年 8 月 18 日
最近的研究表明，使用两阶段监督框架可以生成描绘人类对脑电图 (EEG) 视觉刺激的感知的图像，即 EEG-视觉重建。然而，它们无法“重现”准确的视觉刺激，因为决定合成图像的是人类对图像的注释，而不是图像的数据。此外，合成图像通常会受到嘈杂的 EEG 编码和生成模型不稳定的训练的影响，从而难以识别。相反，我们提出了一个单阶段 EEG-视觉检索范式，其中两种模态的数据是相关的，而不是它们的注释，这使我们能够恢复 EEG 片段的准确视觉刺激。具体而言，我们通过优化对比自监督目标来最大化 EEG 编码和相关视觉刺激之间的相互信息，从而带来两个额外的好处。一是，它使EEG编码能够在训练期间处理超出可见类别的视觉类别，因为学习并不针对类别注释。此外，模型不再需要生成视觉刺激的每个细节，而是专注于跨模态对齐并在实例级别检索图像，确保可区分的模型输出。对最大的单一受试者EEG数据集进行了实证研究，该数据集测量由图像刺激引起的大脑活动。我们证明了所提出的方法完成了实例级EEG-视觉检索任务，即报告现有方法无法报告的精确视觉刺激。我们还研究了一系列EEG和视觉编码器结构的含义。此外，对于主要研究的语义级EEG-视觉分类任务，尽管没有使用类别注释，但所提出的方法优于最先进的监督EEG-视觉重建方法，特别是在开放类别识别能力方面。
随机和系统视觉刺激与全脑活动的超慢准周期时空模式之间的相互作用
摘要 静息或任务期间的超慢血氧水平依赖性 (BOLD) 信号的一个显着特征是信号变化的准周期时空模式 (QPP)，其涉及关键功能网络活动的交替和跨大脑区域的活动传播，并且已知与注意力和唤醒波动有关的超慢神经活动有关。这种持续的全脑活动模式可能会改变对传入刺激的反应，或者通过诱发的神经活动自我改变。为了研究这一点，我们向受试者展示了以 6 Hz 闪烁的棋盘序列。这是一种显著的视觉刺激，已知会在视觉处理区域产生强烈的反应。采用了两种不同的视觉刺激序列，一种是系统刺激序列，其中视觉刺激每 20.3 秒出现一次，另一种是随机刺激序列，其中视觉刺激每 14~62.3 秒随机出现一次。出现了三个主要观察结果。首先，两种不同的刺激条件从不同方面影响 QPP 波形；即，系统刺激对其相位有较大影响，而随机刺激对其幅度有较大影响。其次，与随机条件相比，系统条件下的 QPP 更频繁，连续 QPP 之间的间隔明显更短。第三，在两种条件下，对视觉刺激的 BOLD 信号反应在刺激开始时被 QPP 淹没。这些结果为内在模式与刺激大脑活动之间的关系提供了新的见解。
基于深度卷积神经网络的视觉刺激分类，使用健康和阿尔茨海默病患者的脑电图信号
摘要：视觉感知是人类生活的重要组成部分。在面部识别的背景下，它使我们能够区分情绪和区分一个人与另一个人的重要面部特征。然而，患有记忆丧失的受试者面临严重的面部处理问题。如果面部特征的感知受到记忆障碍的影响，那么就可以使用来自大脑视觉处理区域的大脑活动数据对视觉刺激进行分类。本研究通过面部的反转效应区分熟悉度和情绪方面，并使用卷积神经网络 (CNN) 模型 (EEGNet、EEGNet SSVEP (稳态视觉诱发电位) 和 DeepConvNet) 从原始脑电图 (EEG) 信号中学习判别特征。由于可用的 EEG 数据样本数量有限，引入了生成对抗网络 (GAN) 和变分自动编码器 (VAE) 来生成合成 EEG 信号。生成的数据用于预训练模型，并初始化学习到的权重以在真实 EEG 数据上训练它们。我们研究了脑信号中的细微面部特征以及深度 CNN 模型学习这些特征的能力。研究了面部倒置的影响，观察到 N170 成分具有相当长且持续的延迟。结果，根据面部姿势将情绪和熟悉刺激分为两类。直立和倒置刺激类别的混淆发生率最小。该模型学习面部倒置效应的能力再次得到证明。
基于注意力驱动的卷积神经网络对物体的视觉识别
摘要 - 感知和识别对象的能力对于与外部环境的互动至关重要。研究它们及其与大脑活动变化的关系由于可能应用到直观的脑机界面（BMI）而增加。另外，已经研究了使数据足够可区分以进行分类的不同视觉刺激时的独特模式。但是，报告的分类精度仍然较低或用于获取脑信号的技术对于在实际环境中使用不切实际。在这项研究中，我们的目标是根据提供的视觉刺激来解码脑电图（EEG）信号。主题呈现了72张属于6种不同语义类别的照片。使用脑电图信号根据视觉刺激进行了6个类别和72个示例。为了达到高分类的准确性，我们提出了一个注意力驱动的卷积神经网络，并将我们的结果与用于对EEG信号进行分类的常规方法进行了比较。我们报告的6级和72级的精度分别为50.37±6.56％和26.75±10.38％。这些结果在统计学上优于其他常规方法。这是可能的，因为使用人类视觉途径应用了注意网络。我们的发现表明，当受试者具有不同语义类别的视觉刺激以及具有高分类精度的示例级别时，可以区分脑电图信号。这表明它可以在现实世界中将其应用于现实的BMI。
脑外部视觉皮层的创伤性脑损伤产生持久的电路功能障碍
哺乳动物新皮层的主要感觉区域具有显着的可塑性，使神经回路适应动态环境。然而，关于创伤性脑损伤对视觉电路功能的影响知之甚少。在这里，我们在成年小鼠中使用了解剖学和体内电生理记录来量化对视觉刺激的神经元对视觉刺激的反应，两周零三个月，对原发性视觉皮层（V1）进行了轻度控制皮层影响损伤。我们发现，尽管V1在脑损伤的小鼠中仍然完全完整，但与兴奋性神经元更广泛地影响抑制细胞的神经元数量减少了约35％。V1神经元显示出大幅度降低的活性，对视觉刺激的反应受损以及体内较弱的大小选择性和方向调节。我们的结果表明，单一的轻度挫伤损伤会以V1神经元编码视觉输入的方式产生深远而持久的障碍。这些发现提供了对中央视觉系统神经头部后皮质电路dys功能的初步见解。
人类飞行员行为的数学模型 - NATO STO
在飞行员/飞行器系统分析中使用人类飞行员的数学模型为飞行品质、稳定性和控制、飞行员/飞行器集成和显示系统考虑的工程处理带来了新的维度。作为此类模型的介绍，使用基本概念和特定物理示例为逐步开发人类飞行员作为动态控制组件的已知知识奠定基础。在此过程中，介绍了具有视觉刺激的单环系统和具有视觉刺激的多环系统的准线性模型，然后将其扩展到涵盖多环、多模态情况。还考虑了飞行员动力学和飞行员评级之间的经验联系。
人类飞行员行为的数学模型 - NATO STO
在飞行员/飞行器系统分析中使用人类飞行员的数学模型为飞行品质、稳定性和控制、飞行员/飞行器集成和显示系统考虑的工程处理带来了新的维度。作为此类模型的介绍，我们使用基本概念和具体物理示例为逐步发展人类飞行员作为动态控制组件的已知知识奠定基础。在此过程中，介绍了具有视觉刺激的单回路系统和具有视觉刺激的多回路系统的准线性模型，然后将其扩展到涵盖多回路、多模态情况。还考虑了飞行员动力学和飞行员评级之间的经验联系。
实验 HP-6：视觉诱发电位 (VEP)
视觉诱发电位测试 (VEP) 通过测量从视神经到视觉皮层的视觉通路传导来检查从视网膜到大脑枕叶皮层的视觉通路的功能。VEP 是由视觉刺激（例如计算机屏幕上交替的棋盘格图案）引起的反应。反应由放置在头上的电极记录下来，并在计算机上以图形形式观察。这些反应通常源自枕叶皮层（靠近头部后部），这是大脑中负责接收和解释来自眼睛的视觉信号的区域。VEP 测试测量视觉刺激从眼睛传播到大脑枕叶皮层所需的时间。它可以显示神经通路是否存在任何异常。
基于边缘响应叠加的 cVEP BCI 刺激设计新方法
摘要。本研究的目的是基于关于视觉系统对编码视觉刺激的实际脑电图反应的行为和特性的实验研究，开发一种设计 cVEP BCI 刺激序列的新方法，从而减少训练时间并增加可能的目标数量。以每通道 2000 个样本/秒的速度记录来自 8 个枕骨部位的脑电图，以响应以 60Hz 刷新率呈现在计算机显示器上的视觉刺激。通过 160 次试验信号平均获得对长视觉刺激脉冲的起始和终止脑电图反应。这些边缘响应用于使用叠加原理预测对任意刺激序列的脑电图反应。还实现并测试了利用该原理生成的目标模板的 BCI 拼写器。发现，某些短刺激模式可以通过叠加原理准确预测。与将叠加原理应用于传统 m 序列和随机生成的序列相比，由这些最佳模式组合构建的 BCI 序列可实现更高的准确度 (95.9%) 和 ITR (57.2 bpm)。BCI 应用的训练时间仅涉及边缘响应的采集，不到 4 分钟，并且可以生成大量序列。这是首次根据通过观察大脑对几种刺激模式的实际反应而获得的约束来设计 cVEP BCI 序列的研究。
用于虚拟现实应用的新型混合脑机接口，采用基于稳态视觉诱发电位的脑机接口和基于眼电图的眼动追踪来提高信息传输速率
基于脑电图 (EEG) 的脑机接口 (BCI) 近来在虚拟现实 (VR) 应用中引起越来越多的关注，成为一种有前途的工具，可以“免提”方式控制虚拟物体或生成命令。视频眼动图 (VOG) 经常被用作一种工具，通过识别屏幕上的注视位置来提高 BCI 性能，然而，当前的 VOG 设备通常过于昂贵，无法嵌入到实用的低成本 VR 头戴式显示器 (HMD) 系统中。在本研究中，我们提出了一种新颖的免校准混合 BCI 系统，该系统结合了基于稳态视觉诱发电位 (SSVEP) 的 BCI 和基于眼电图 (EOG) 的眼动追踪，以提高 VR 环境中九目标基于 SSVEP 的 BCI 的信息传输速率 (ITR)。在以 3×3 矩阵排列的三种不同频率配置的模式反转棋盘格刺激上重复实验。当用户注视九种视觉刺激中的一种时，首先根据用户的水平眼球运动方向（左、中或右）识别包含目标刺激的列，并使用从一对电极记录的水平 EOG 进行分类，该电极可以很容易地与任何现有的 VR-HMD 系统结合使用。请注意，与 VOG 系统不同，可以使用与记录 SSVEP 相同的放大器来记录 EOG。然后，使用多元同步指数 (EMSI) 算法的扩展（广泛使用的 SSVEP 检测算法之一）在选定列中垂直排列的三个视觉刺激中识别目标视觉刺激。在我们对 20 名佩戴商用 VR-HMD 系统的参与者进行的实验中，结果表明，与 VR 环境中基于传统 SSVEP 的 BCI 相比，所提出的混合 BCI 的准确度和 ITR 均显着提高。