摘要。本文介绍了 DreamDiffusion,这是一种直接从脑电图 (EEG) 信号生成高质量图像的新方法,无需将想法转化为文本。DreamDiffusion 利用预先训练的文本到图像模型,并采用时间掩蔽信号建模来预训练 EEG 编码器,以获得有效且稳健的 EEG 表示。此外,该方法进一步利用 CLIP 图像编码器提供额外的监督,以更好地将 EEG、文本和图像嵌入与有限的 EEG-图像对对齐。总体而言,所提出的方法克服了使用 EEG 信号进行图像生成的挑战,例如噪声、信息有限和个体差异,并取得了令人鼓舞的结果。定量和定性结果证明了所提方法的有效性,这是朝着便携式和低成本“思想到图像”迈出的重要一步,在神经科学和计算机视觉领域具有潜在的应用。
细化参数 闭合构象 开放构象 地图分辨率(掩蔽) 3.54Å 4.02Å 地图分辨率(未掩蔽) 3.55Å 4.03Å FSC(模型)(掩蔽)= 0.143 2.28Å 3.35Å 相关系数(掩蔽) 0.77 0.60 Ramachandran 允许值 100% 98.53% 表 2 PHENIX 40 中实空间细化的闭合和开放构象的冷冻电镜统计数据。447
摘要 直接刺激灵长类动物 V1 能否替代视觉刺激并模仿其感知效果?为了解决这个问题,我们开发了一种光学遗传工具包,使用宽视野钙成像“读取”神经群体反应,同时使用光遗传学将神经反应“写入”行为猕猴的 V1。我们专注于视觉掩蔽现象,其中共定位的中等亮度掩蔽显著降低了对暗淡目标的检测(Cornsweet 和 Pinsker,1965 年;Whittle 和 Swanston,1974 年)。使用我们的工具包,我们测试了 V1 光遗传刺激是否可以重现视觉掩蔽的感知掩蔽效应。我们发现,与视觉掩蔽类似,低功率光刺激可以显著降低视觉检测灵敏度,视觉和光遗传学引起的 V1 反应之间的亚线性相互作用可以解释这种感知效应,并且这些神经和行为效应具有空间选择性。我们的工具包和结果为进一步探索通过直接刺激感觉皮层来实现感知替代打开了大门。
按照掩蔽语言建模 (MLM) 目标进行训练的多语言预训练语言模型 (multiPLM) 通常用于双语文本挖掘等跨语言任务。然而,这些模型的性能对于低资源语言 (LRL) 仍然不是最优的。为了改进给定 multiPLM 的语言表示,可以进一步对其进行预训练。这称为持续预训练。先前的研究表明,使用 MLM 进行持续预训练,随后使用翻译语言建模 (TLM) 进行预训练可以改进 multiPLM 的跨语言表示。然而,在掩蔽期间,MLM 和 TLM 都会给予输入序列中的所有标记相同的权重,而不管标记的语言属性如何。在本文中,我们引入了一种新颖的掩蔽策略,即语言实体掩蔽 (LEM),用于持续预训练步骤,以进一步改进现有 multiPLM 的跨语言表示。与 MLM 和 TLM 相比,LEM 将掩码限制在语言实体类型名词、动词和命名实体上,这些实体在句子中占据更重要的地位。其次,我们将掩码限制在语言实体范围内的单个标记上,从而保留更多上下文,而在 MLM 和 TLM 中,标记是随机掩码的。我们使用三个下游任务评估 LEM 的有效性,即双语挖掘、并行数据管理和代码混合情感分析,使用三种低资源语言对英语-僧伽罗语、英语-泰米尔语和僧伽罗语-泰米尔语。实验结果表明,在所有三个任务中,使用 LEM 持续预训练的多 PLM 优于使用 MLM+TLM 持续预训练的多 PLM。
从设计角度来看,获得可变滤波器的可能性取决于多层涂层的光谱特性与某些层(如果不是全部)厚度的依赖关系。在由两个金属镜形成的法布里-珀罗滤波器的特定情况下,腔层厚度的简单变化会使其中心波长发生偏移。这种简单的结构具有自然提供宽抑制带的优势,但不足以提供尖锐的过渡带通,并导致高吸收损耗。为了改善最后一点,一种解决方案是使用所谓的感应透射滤波器方法,其中金属层放置在介电法布里-珀罗滤波器腔内电场分布最小处 [2-4]。然而,生产具有任意指定抑制、宽度和锐度特性的滤波器的唯一方法是使用标准的全介电方法,该方法由多腔法布里-珀罗结构与附加介电短波长和长波长通断滤波器相关联形成。在这种情况下,所有层的厚度必须通过一个公共因子进行调整,从而产生比例的波长偏移,以产生可变滤波器[5,6]。
摘要:旁道攻击是对现实世界中部署的密码系统的巨大威胁。针对旁道攻击的一种有效且可证明安全的对策是掩蔽。在本文中,我们详细研究了密钥封装机制 Saber 的高阶掩蔽技术。Saber 是美国国家标准技术研究所后量子标准化程序中基于格的最终候选者之一。我们对最近为 Saber 提出的不同掩蔽算法进行了详细分析,并提出了一种优化的高阶掩蔽 Saber 实现。与未掩蔽的 Saber 相比,我们针对一阶、二阶和三阶掩蔽 Saber 提出的技术分别具有 2.7 倍、5 倍和 7.7 倍的性能开销。我们表明,与另一种基于格子的最终方案 Kyber 相比,Saber 的性能随着掩码阶数的增加而下降得更少。我们还表明,高阶掩码 Saber 需要的随机字节比高阶掩码 Kyber 少。此外,我们将掩码实现调整为 uSaber,这是 Saber 的一个变体,专门设计用于实现高效的掩码实现。我们介绍了 uSaber 的第一个掩码实现,表明它在任何阶数上确实比掩码 Saber 至少高出 12%。我们在 ARM Cortex-M4 微控制器上提供了我们提出的所有掩码方案的优化实现。
感知是在大脑中形成图形-地面分割和以物体为中心的表征之后产生的。研究表明,注意力在忽视中起着关键作用,研究表明颞顶交界处受损的患者无法将注意力从同侧空间转移到对侧空间(Friedrich、Egly、Rafal & Beck,1998;Posner、Walker、Friedrich & Rafal,1984),即使对于出现在同侧半视野内的目标也是如此(Ladavas,1990;Ladavas、Del Pesce & Provinciali,1989)。与对侧注意力受损相比,对同侧空间的注意力实际上可能会增强(D'Erme、Robertson、Bartolomeo、Daniele & Gainotti,1992;Ladavas,1990;Ladavas、Petronio & Umilta,1990)。这可能是由于右半球受损后优势左半球的抑制作用减弱所致(Cohen、Romero、Servan-Schreiber & Farah,1994;Kinsbourne,1977、1993)。使用经颅磁刺激 (TMS) 暂时扰乱右顶叶皮质处理的研究也为这种半球竞争解释忽视提供了证据(Blankenburg et al.,2008;Seyal、Ro & Rafal,1995;Szczepanski & Kastner,2013)。或者,如果右半球负责注意空间的两个半部,而左半球只负责注意空间的右侧,那么右半球损伤更有可能导致忽视(Heilman & Valenstein,1979;Heilman & Van Den Abell,1979,1980)。此外,右半球损伤后,同侧半球也可能出现注意力缺陷(Vuilleumier & Rafal,2000),忽视还可能出现时间注意力缺陷(Husain、Shapiro、Martin & Kennard,1997)。这些关于忽视的半球不对称解释表明,感知处理可能在大脑损伤同一侧(同侧)的视觉空间中受到影响,这与该领域的普遍观点(同侧空间不受影响)相反。为了验证这一想法,在本研究中,我们使用元对比掩蔽范式评估了忽视患者对侧和同侧空间的空间和时间处理差异,其中短暂呈现的目标刺激在元对比掩蔽之前以不同的延迟呈现。在神经健康的受试者中,当目标刺激在周围元对比掩蔽之前约 30 毫秒的相同位置呈现时,目标刺激经常被错过,并且只感知到元对比掩蔽(Breitmeyer,1984;Breitmeyer & Ogmen,2000;Ogmen,Breitmeyer,& Melvin,2003)。有人假设这种掩蔽是由于视觉皮层中掩蔽的反馈处理中断了目标刺激的前馈处理(Enns,2004;Ro,Breitmeyer,Burton,Singhal,& Lane,2003)。重要的是,研究之前已经表明,正常受试者的元对比掩蔽的幅度和持续时间受到内源性注意力的影响(Boyer & Ro,2007;Ramachandran & Cobb,1995)。通过操纵这些目标和掩蔽刺激在空间中的位置和时间中呈现,我们评估了忽视如何影响两名忽视患者对侧和同侧半场的元对比掩蔽。为了进行比较,我们还在一组神经健康、年龄匹配的受试者中使用相同的范例测量了元对比掩蔽的空间和时间范围
从非侵入性脑电图 (EEG) 重建自然语言作为脑机接口 (BCI) 的语言解码技术有着巨大的应用前景。然而,基于 EEG 的语言解码仍处于起步阶段,面临着一些技术问题,例如:1)缺乏能够有效结合跨模态(EEG 和文本之间)自学习与 EEG 特征或文本序列的模态内自重建的混合策略;2)未充分利用大型语言模型 (LLM) 来增强基于 EEG 的语言解码。为了解决上述问题,我们提出了对比 EEG-T 文本询问自动编码器 (CET-MAE),这是一种新颖的模型,它通过专用的多流编码器在 EEG 和文本之间和内部协调复合自监督学习。此外,我们开发了一个名为 E2T-PTR(使用预训练可迁移表示进行 EEG 到 T 文本解码)的框架,该框架利用预训练模块以及来自 CET-MAE 的 EEG 流,并进一步使 LLM(特别是 BART)能够从 EEG 序列中解码文本。在流行的文本诱发 EEG 数据库 ZuCo 上进行的全面实验证明了 E2T-PTR 的优越性,它在 ROUGE-1 F1 和 BLEU-4 得分上分别比基线框架高出 8.34% 和 32.21%。我们提出的预训练 EEG-Text 模型显示出改善涉及 EEG 和文本的下游任务的潜力。这为其在内部语音 BCI 范式中的应用开辟了有希望的途径,值得进一步研究。
由于数据集较小且难以获取标签,使用机器学习从 EEG 等生物信号中解码信息一直是一项挑战。我们提出了一种基于重建的自监督学习模型,即 EEG 的掩蔽自动编码器 (MAEEG),通过学习使用 Transformer 架构重建掩蔽的 EEG 特征来学习 EEG 表示。我们发现,当仅给出少量标签时,MAEEG 可以学习显着改善睡眠阶段分类的表示(准确率提高约 5%)。我们还发现,基于重建的 SSL 预训练期间的输入样本长度和不同的掩蔽方式对下游模型性能有很大影响。具体而言,学习重建更大比例和更集中的掩蔽信号可带来更好的睡眠分类性能。我们的研究结果深入了解了基于重建的 SSL 如何帮助 EEG 的表征学习。
预测未来对于像智人这样的生物来说至关重要,他们生活在一个动态且不断变化的世界中。先前的研究已经证实,有意识的刺激可以导致无意识的预测。在这里,我们检查掩蔽刺激是否也能引起这样的预测。我们使用有障碍物和无障碍物的掩蔽运动来检查掩蔽刺激的预测。在六个实验中,使用连续闪光抑制 (CFS) 掩盖了一个移动物体。物体消失几百毫秒后,有意识的探测器出现在与掩蔽刺激一致或不一致的位置。在实验 1-3 中,运动是线性的,反应时间 (RT) 表明基于运动方向和速度的预测。在实验 4 中,被遮蔽的移动物体与障碍物相撞,然后消失。在这种情况下,预测应该反映偏转,而且反应时间确实揭示了对偏转路线的预测。在实验 5 和 6 中,我们介绍了一种在连续闪光抑制 (CFS) 期间使用眼动追踪的创新方法,并以眼球运动的形式报告了被遮蔽刺激引起的预测的生理证据。因此,我们得出结论,人类可以使用动态遮蔽刺激来产生对未来的主动预测,并使用这些预测来指导行为。我们还根据当前关于遮蔽呈现、潜意识感知和意识测量方法之间关系的科学讨论,讨论了这些发现的可能解释。