摘要:多路复用深度神经网络 (DNN) 已经产生了高性能预测模型,这些模型在解码以脑电图 (EEG) 信号形式广泛收集的脑电波方面越来越受欢迎。在本文中,据我们所知,我们介绍了一种基于 DNN 的通用方法,该方法使用 48 名参与者的视觉刺激反应实验中单次试验 EEG 的周期图表示来估计反应时间 (RT)。我们设计了一个全连接神经网络 (FCNN) 和一个卷积神经网络 (CNN) 来预测和分类每次试验的 RT。虽然深度神经网络因分类应用而广为人知,但我们通过将 FCNN/CNN 与随机森林模型级联,设计了一个基于回归的稳健估计器来预测 RT。使用 FCNN 模型,二分类和三类分类的准确率分别为 93% 和 76%,使用 CNN 后准确率进一步提高(分别为 94% 和 78%)。基于回归的方法预测了 RT,FCNN 和 CNN 的相关系数 (CC) 分别为 0.78 和 0.80。进一步研究发现,左中叶以及顶叶和枕叶对于预测 RT 至关重要,在 theta 和 alpha 频带中有显著活动。
摘要 — 基于 SSVEP 的 BCI 在速度和准确性方面是最有前途的 BCI 之一。然而,尽管社区付出了巨大的努力使它们更加实用和用户友好,但它们使用起来仍然特别烦人。在本文中,我们研究了 SSVEP 视觉刺激的大小和对比度对分类准确性和界面烦恼的影响,总体目标是在性能和用户友好性之间找到一个平衡点。我们对十二 (12) 名参与者进行了用户研究,以评估不同刺激大小和对比度对虚拟现实环境中 SSVEP 分类准确性的联合影响。该实验的结果表明,刺激的大小对分类准确性(低于某个阈值)和感知烦恼都有显著影响。然而,对比度对分类准确性和感知烦恼都没有影响,这表明使用较低对比度的刺激仍然可以准确地操作基于 SSVEP 的 BCI。索引术语 — 组件、格式、样式、样式、插入
虚拟现实环境为研究脑机接口 (BCI) 在现实环境中的性能提供了绝佳的机会。由于现实世界的刺激通常是多模态的,它们的神经元整合会引发复杂的反应模式。为了研究额外的听觉提示对视觉信息处理的影响,我们使用虚拟现实来模拟工业环境中的安全相关事件,同时记录脑电图 (EEG) 信号。我们模拟了一个在传送带系统上移动的盒子,其中两种类型的刺激(爆炸和燃烧的盒子)会中断正常操作。来自 16 名受试者的记录分为两个子集,一个是纯视觉实验,另一个是视听实验。在纯视觉实验中,两种刺激的反应模式引发了类似的模式——视觉诱发电位 (VEP),然后是枕叶-顶叶上的事件相关电位 (ERP)。此外,我们发现感知到的事件严重程度反映在信号幅度中。有趣的是,额外的听觉提示对先前的发现产生了双重影响:在爆炸盒刺激的情况下,P1 成分被显著抑制,而燃烧盒刺激下 N2c 则有所增强。这一结果凸显了多感官整合对现实 BCI 应用性能的影响。事实上,我们观察到基于混合特征提取(方差、功率谱密度和离散小波变换)和支持向量机分类器的检测任务的离线分类准确度发生了变化。在爆炸的情况下,与仅视觉实验相比,视听实验的准确度略有下降,为 -1.64%。相反,当存在额外的听觉提示时,燃烧盒的分类准确度增加了 5.58%。因此,我们得出结论,特别是在具有挑战性的检测任务中,当 BCI 应该在(多模态)真实世界条件下运行时,考虑多感官整合的潜力是有利的。
摘要:从记录大脑活动的 fMRI 信号中重建视觉刺激是一项具有挑战性的任务,在神经科学和机器学习领域具有重要的研究价值。先前的研究倾向于强调重建刺激图像的像素级特征(轮廓、颜色等)或语义特征(对象类别),但通常这些属性不会一起重建。在这种情况下,我们介绍了一种新颖的三阶段视觉重建方法,称为双引导脑扩散模型 (DBDM)。首先,我们使用非常深的变分自动编码器 (VDVAE) 从 fMRI 数据中重建粗略图像,捕捉原始图像的底层细节。随后,使用引导语言图像预训练 (BLIP) 模型为每个图像提供语义注释。最后,利用多功能扩散 (VD) 模型的图像到图像生成管道从由视觉和语义信息引导的 fMRI 模式中恢复自然图像。实验结果表明,DBDM 在定性和定量比较方面均超越了以前的方法。特别是,DBDM 在重建原始图像的语义细节方面取得了最佳性能;Inception、CLIP 和 SwAV 距离分别为 0.611、0.225 和 0.405。这证实了我们模型的有效性及其推动视觉解码研究的潜力。
大脑计算机界面(BCI)系统为严重运动残疾患者提供了替代通信通道,可以使用无肌肉运动与环境互动。近年来,与最经常研究的基于BCI的拼写范式相比,对非目光依赖的脑部计算机界面范式的研究的重要性一直在增加。在RCP范式下已经验证了用于通信目的的几种视觉修改尚未在最扩展的非目光依赖的快速串行视觉呈现(RSVP)范式下进行验证。因此,在本研究中,根据RSVP评估了三组不同的刺激,并具有以下交流特征:白色字母(WL),著名面部(FF),中性图片(NP)。11个健康受试者参加了该实验,其中受试者必须经历校准阶段,在线阶段以及最终的主观问卷完成阶段。结果表明,FF和NP刺激在校准和在线阶段促进了更好的性能,在FF范式中稍好。关于主观问卷,与WL刺激相反,参与者再次首选FF和NP,但这次NP刺激得分略高。这些发现表明,与最常用的基于字母的刺激相比,将FF和NP用于基于RSVP的拼写器可能是有益的,可以提高信息传输速率,并且可以代表具有改变眼运动功能的个人的有希望的通信系统。
摘要 目的。视神经是视觉神经假体的理想位置。当受试者无法接受视网膜假体时,可以将其作为目标,并且它比皮质植入物的侵入性更小。电神经假体的有效性取决于必须优化的刺激参数组合,优化策略可能是使用诱发的皮质反应作为反馈进行闭环刺激。然而,有必要确定目标皮质激活模式,并将皮质活动与受试者视野中存在的视觉刺激联系起来。视觉刺激解码应在视觉皮层的大面积上进行,并使用尽可能可转化的方法,以便将来将研究转移到人类受试者身上。这项工作的目的是开发一种满足这些要求的算法,并可以利用该算法自动将皮质激活模式与产生它的视觉刺激联系起来。方法。向三只小鼠展示十种不同的视觉刺激,并使用广角钙成像记录它们的初级视觉皮层反应。我们的解码算法依赖于卷积神经网络 (CNN),该网络经过训练可以从相应的广角图像中对视觉刺激进行分类。我们进行了几项实验来确定最佳训练策略并研究推广的可能性。主要结果。最佳分类准确率为 75.38% ± 4.77%,在 MNIST 数字数据集上对 CNN 进行预训练并在我们的数据集上对其进行微调后获得。通过对 CNN 进行预训练以对鼠标 1 数据集进行分类并在鼠标 2 和鼠标 3 上对其进行微调,可以进行推广,准确率分别为 64.14% ± 10.81% 和 51.53% ± 6.48%。意义。广角钙成像和 CNN 的组合可用于对皮质对简单视觉刺激的反应进行分类,并且可能是现有解码方法的可行替代方案。它还使我们能够将皮质激活视为未来视神经刺激实验中的可靠反馈。
Marion Vincent,SébastienVanstavel,CédricPatin,Sandrine Mejias,Anahita Basirat。大脑对词汇证明性和语音良好形式的反应,如快速周期性的视觉刺激所揭示的那样。大脑和语言,2022,232,pp.105150。10.1016/j.bandl.2022.105150。hal-04377160
哺乳动物的行为状态影响大脑对视觉刺激的反应,最早在丘脑背外侧膝状体 (dLGN) 中发生,丘脑背外侧膝状体是视觉信息向皮层的主要传递点。一个明显的例子是,与静止动物相比,警觉动物的 dLGN 神经元对视觉刺激的更高时间频率的反应明显更强烈。dLGN 从视觉皮层接收强烈的反馈,但这种反馈是否有助于这些对视觉刺激的状态依赖性反应尚不清楚。在这里,我们表明,在雄性和雌性小鼠中,沉默皮质-丘脑反馈会大大减少 dLGN 神经元对视觉刺激的反应的状态依赖性差异。这适用于 dLGN 对视觉刺激的时间和空间特征的反应。这些结果表明,在视觉处理的早期阶段,对视觉刺激的反应的状态依赖性转变取决于皮质-丘脑反馈。
摘要:视觉材料是一种广泛用于刺激创造力的工具。本文探讨了视觉刺激支持新手与多模式数字音乐界面的创造性参与的潜力。对24名参与者进行了一项实证研究,以比较图形分数的抽象和文字形式对新手创造性参与的影响,以及是否了解或未了解该分数中符号的含义对创意参与都有任何影响。结果表明,当没有了解参与者的设计时,抽象的视觉刺激可以为创造性参与提供有效的脚手架。发现提供有关视觉刺激的信息既具有优势又具有缺点,这在很大程度上取决于刺激的视觉风格。被告知字面视觉刺激的含义有助于参与者做出解释和获得灵感,同时获得有关抽象刺激的信息导致沮丧。定性数据表明,两种形式的视觉刺激都支持创意参与度,但在创作过程的不同阶段,并且提出了描述性模型来解释这一点。这些发现突出了视觉刺激在音乐制作过程中支持创造性参与的好处 - 一个多模式互动域通常涉及几乎没有视觉活动或没有视觉活动。
目的 . 皮层内微刺激是当代脑机接口中恢复感官知觉的有效方法。然而,更好地控制神经元反应的机制以及神经元活动与刺激部位周围发生的其他伴随现象之间的关系仍不太清楚。方法 . 使用宽视野和双光子成像在 Thy1-GCaMP6s 小鼠体内研究了不同的微刺激频率,以评估在多个空间尺度上引起的兴奋性神经反应以及诱发的血流动力学反应。具体而言,我们量化了刺激引起的小鼠视觉皮层神经元激活和抑制,并使用中观尺度宽视野成像测量了血流动力学氧合血红蛋白和脱氧血红蛋白信号。主要结果 . 我们的钙成像结果显示,低频刺激更有利于驱动更强的神经元激活。神经 28 激活后的抑郁反应偏好与激活相比略高频率的刺激。血流动力学信号 29 表现出与神经钙信号相当的空间扩展。在激活后(抑郁)期间,刺激部位周围的氧合血红蛋白浓度保持升高。通过双光子显微镜测量的躯体和神经纤维网钙 31 反应显示出对刺激参数的相似依赖性,32 尽管在躯体中测得的幅度大于在神经纤维网中。此外,与神经纤维网相比,更高频率的 33 刺激在躯体中诱导更明显的激活,而抑郁 34 主要在躯体中诱导,与刺激频率无关。意义。这些结果表明 35 抑郁症的潜在机制不同于激活,需要充足的氧气供应,并影响 36 神经元。我们的研究结果为皮层内微刺激引起的兴奋性神经元活动提供了新的理解,并为利用激活和抑制现象来实现所需神经反应的神经装置提供了见解。