摘要 — 目的。在本文中,我们考虑跨受试者解码问题,其中从给定受试者(目的地)的前额叶皮层收集的神经活动数据用于从不同受试者(源)的神经活动解码运动意图。方法。我们将神经活动映射问题置于概率框架中,其中我们采用深度生成模型。我们提出的算法使用深度条件变分自动编码器将源受试者的神经活动的表示推断到进行神经解码的目标受试者的适当特征空间中。结果。我们在实验数据集上验证了我们的方法,其中两只猕猴对八个目标位置之一进行记忆引导的视觉扫视。结果显示,与特定受试者的解码相比,跨受试者解码的峰值提高了 8%。结论。我们证明,使用一个受试者的神经活动信号训练的神经解码器可用于以高可靠性稳健地解码不同受试者的运动意图。尽管神经活动信号具有非平稳性,且记录条件因人而异,但我们仍能实现这一目标。意义。本文报告的研究结果是朝着开发跨学科脑机系统迈出的重要一步,该系统可以很好地推广到整个人群。
人们已经尝试过多次语音脑机接口 (BCI),在听觉语音感知、显性语音或想象(隐性)语音期间使用侵入性测量(例如皮层电图 (ECoG))来解码音素、子词、单词或句子。从隐性语音中解码句子是一项具有挑战性的任务。这项研究招募了 16 名颅内植入电极的癫痫患者,在 8 个日语句子的显性语音和隐性语音期间记录了 ECoG,每句句子由 3 个标记组成。具体来说,我们应用 Transformer 神经网络模型来从隐性语音中解码文本句子,该模型使用在显性语音期间获得的 ECoG 进行训练。我们首先使用相同的任务进行训练和测试来检查所提出的 Transformer 模型,然后评估该模型在使用显性任务训练以解码隐性语音时的性能。在隐性语音上训练的 Transformer 模型在解码隐性语音时实现了 46.6% 的平均标记错误率 (TER),而在显性语音上训练的模型实现了 46.3% 的 TER (p > 0.05 ; d = 0.07)。因此,收集隐性语音训练数据的挑战可以通过使用显性语音来解决。通过使用几种显性语音可以提高隐性语音的性能。
即使消息具有相同的 DAC/FI 标识符,也可以解码不同的消息格式。好吧,这有点技术性,但是任何安装了使用 DAC/FI 的供应商的 Aton 的人,他们的 Msg 6 也被另一个供应商用于他们的 Msg 6,您都会立即欣赏我们的解决方案,您自己实施 — 无需为软件“修复”付费。(不认为这种情况会发生?好吧,我们没有为“潜在”问题提供解决方案 — 它会发生!)
黄病毒属包括几种人类致病病毒,例如登革热、黄热病、寨卡病毒、日本脑炎病毒和西尼罗病毒,它们可以在节肢动物(蚊子)中垂直传播。已经设计了几种旨在摧毁蚊子总体数量的干预措施。但从长远来看,这些措施可能会产生严重的生态影响。这一限制要求制定更好、更安全的策略,这些策略需要对黄病毒-宿主相互作用有基本的了解。我们希望应用全基因组 CRISPR 筛选来解码伊蚊宿主的泛黄病毒因子。
为了破译人脑的语言表示基础的算法,先前的工作通过对NLU任务进行了微调的预先调整的预先训练的人工神经网络(ANN)模型对大脑对语言输入的反应。然而,完整的微调通常会更新整个参数空间并扭曲预训练的功能,从而与大脑的强大多任务学习无关。及时调整可以保护预训练的权重,并学习特定于任务的嵌入以适合任务。迅速调整是否会产生代表,可以更好地说明大脑语言表示的比较?如果是这样,什么样的NLU任务会导致预先训练的模型更好地解码人脑中所代表的信息?我们通过比较神经解码中的迅速调整和微调的表示来调查这些问题,这预测了刺激引起的大脑活动的语言刺激。我们发现,在10个NLU任务中,全面的微调都没有明显胜过神经解码的迅速调整,这意味着一种更一致的调谐方法会产生代表性的代表,可以更好地与大脑数据相关。更重要的是,我们确定处理精细概念的任务意味着比其他任务更好地解码大脑激活模式的屈服表示,尤其是句法构成任务。这表明我们的大脑编码代表语言时浅层句法信息更细粒度的概念信息。
解码器将皮质图(ECOG)信号从皮质转换为可解释的语音参数和一种新型的可区分语音合成器,将语音参数映射到频谱图。我们开发了一个由语音编码器和相同的语音合成器组成的伴侣音频到Audio自动编码器,以生成参考语音参数,以促进ECOG解码器培训。该框架具有自然听起来的语音,并且在48名参与者的队列中高度可重现。在ECOG解码器的三个神经网络架构中,3D Resnet模型在预测原始语音频谱图(PCC = 0.796)的情况下预测原始语音频谱图时具有最佳的解码性能(PCC = 0.804)。我们的实验结果表明,即使仅限于因果操作,我们的模型也可以以高相关性来解码语音,这对于通过实时神经假体采用是必不可少的。我们成功地解码了左或右半球覆盖范围的参与者中的语音,这可能导致左半球损害导致语音缺陷的患者的言语假体。此外,我们使用遮挡分析来识别有助于跨模型语音解码的皮质区域。最后,我们为我们的两阶段培训管道提供开源代码以及协会的预处理和可视化工具,以实现可重现的研究并推动跨语音科学和假体社区的研究。
在听觉语音感知,公开的言语,或想象的语音(covert)演讲中,已经对语音脑 - 计算机接口(BCI)进行了用于解码音素,子词,单词或句子的解码,例如电代理图(ECOG)。从秘密语音中解码句子是一项具有挑战性的任务。有16例颅内植入电极的癫痫患者参加了这项研究,并且在公开的言语,秘密语音和八个日本句子的被动聆听期间记录了ECOG,每个句子由三个令牌组成。将变压器神经网络模型应用于Covert语音的解码文本句子,该句子是使用公开语音中获得的ECOG培训的。我们首先使用相同的任务进行训练和测试检查了提出的变压器模型,然后在使用公开或感知任务进行培训时评估了模型的性能,以解码秘密语音。在秘密演讲中训练的变压器模型的平均令牌错误率(TER)为46.6%,用于解码秘密演讲,而在公开语音上训练的模型的可比较TER为46.3%(p>0。05; d = 0。07)。因此,可以使用公开语音来解决秘密语音培训数据的挑战。秘密语音的表现可以通过使用大量公开语音来改善。
从大脑活动中解码语音是医疗保健和神经科学中期待已久的目标。侵入性设备最近导致了这方面的主要里程碑:对颅内记录训练的深度学习算法现在开始解码基本语言特征(例如字母,单词,频谱图)。但是,这种对自然语音和非侵入性脑记录的方法仍然是一个主要挑战。为了解决这些问题,我们引入了一种对比学习模型,该模型训练有素,可以从大量个体的无创录音中解释自然语音的自我监督表达。为了评估这种方法,我们策划并整合了四个公共数据集,其中包括169名志愿者,并在听自然语音的同时,记录了磁性或电脑摄影(M/EEG)(M/EEG)。结果表明,我们的模型可以从3秒钟的MEG信号中识别出相应的语音段,在1,594个不同的可能性中,具有高达44%精度的相应语音段 - 这种性能允许在训练集中不使用短语解码。模型比较和消融分析表明,这些结果直接受益于(i)对比目标,(ii)语音的预估计表示和(iii)(iii)经过多个参与者培训的常见卷积体系结构。总的来说,这些结果描述了帮助沟通障碍患者的有前途的途径,而不会使他们处于脑部手术的风险。
摘要 — 通过调节认知任务中的唤醒来提高人类的生产力是心理学中一个具有挑战性的课题,它具有巨大的潜力,可以改变工作场所以提高生产力,并改变教育系统以提高绩效。在本研究中,我们评估了使用心理学的耶基斯-多德森定律在工作记忆实验中提高绩效的可行性。我们采用贝叶斯过滤方法来跟踪认知唤醒和绩效。具体来说,通过利用在音乐存在的情况下进行工作记忆实验期间记录的皮肤电导信号,我们解码了认知唤醒状态。这是通过将神经冲动发生的速率及其幅度视为唤醒模型的观测值来实现的。同样,我们分别使用正确和错误响应的数量以及反应时间作为二元和连续行为观察来解码绩效状态。我们在期望最大化框架内估计唤醒和绩效状态。此后,我们根据耶基斯-多德森定律设计了一个唤醒绩效模型,并通过回归分析估计模型参数。在这个实验中,音乐神经反馈被用来调节认知唤醒。我们的研究表明,音乐可以作为一种激励模式,影响唤醒并提高工作记忆任务中的认知表现。我们的研究结果对设计未来的智能工作场所和在线教育系统具有重大影响。
目的:许多人每晚都有梦想,有些人在梦中保持意识。这样的梦想被称为清醒的梦(LD)。在梦中,我们的语音与面部肌肉活动相关,这很难解码,但LD可以解决这个问题。这项研究的主要假设是LD期间的面部肌肉电活动对应于特定的声音。理解这种联系可以帮助将来解码梦想演讲。材料和方法:在实验室条件下,要求四位LD从业者说“我爱你”,这是具有独特肌电图(EMG)签名的短语。他们在梦中意识到意识之后就睡着了,然后再入睡。在四个区域记录了他们的面部和颈部EMG。结果:所有四个志愿者至少完成了一次目标。在大多数情况下,在清醒和LD期间都观察到与“我爱你”短语相关的模式。具体而言,“ I”大部分时间都触发了亚门核区域的独特阶段活动,而“您”在轨道上的作用也相同。讨论:这项研究强调了仅检测梦想特定和高度emg独特短语的可能性,因为发声还涉及钳子和声音仪器。目前结果的最有趣的结果是,它们表明可能会创建一种可以在现实中并在LD期间使用的人工EMG语言。