摘要 本文提出了一种基于高效受脑启发的超维计算 (HDC) 范式的硬件优化情绪识别方法。情绪识别为人机交互提供了宝贵的信息;然而,情绪识别涉及的大量输入通道 (> 200) 和模态 (> 3) 从内存角度来看非常昂贵。为了解决这个问题,提出了减少和优化内存的方法,包括一种利用编码过程的组合性质的新方法和一个基本的细胞自动机。与所提出的技术一起实施了具有早期传感器融合的 HDC,在多模态 AMIGOS 和 DEAP 数据集上实现了两类多模态分类准确率,效价 > 76%,唤醒 > 73%,几乎总是比最先进的技术更好。所需的矢量存储无缝减少了 98%,矢量请求的频率减少了至少 1/5。结果证明了高效超维计算在低功耗、多通道情绪识别任务中的潜力。关键词:脑启发、超维计算、情绪识别、可穿戴、内存优化、硬件高效、多模态传感器融合
1 加州理工学院生物与生物工程系,美国加利福尼亚州帕萨迪纳市 91125 2 巴黎医学物理学系,法国国家健康与医学研究院,法国国家科学研究院,巴黎高等物理学院,巴黎 PSL 研究大学,法国巴黎 75012 3 法国巴黎 INSERM 生物医学超声技术研究加速器 4 Iconeus,法国巴黎 Jean Calvin 街 6 号 5 加州理工学院 T&C Chen 脑机接口中心,美国加利福尼亚州帕萨迪纳市 91125 6 加州大学河滨分校生物工程系,美国加利福尼亚州河滨市 7 南加州大学凯克医学院神经外科系,美国加利福尼亚州洛杉矶 90033 8 南加州大学凯克医学院神经修复中心,美国加利福尼亚州洛杉矶 90033 9 Rancho Los Amigos 国家康复中心,美国加利福尼亚州唐尼 90242 10技术,美国加利福尼亚州帕萨迪纳市 91125 11 霍华德休斯医学研究所,美国加利福尼亚州帕萨迪纳市 91125 *这些作者对本文的贡献相同
摘要:性格是个人行为和情绪模式的特征集,由生物和环境因素发展而来。性格特征的识别对于使人机交互 (HCI) 应用程序更加逼真、更有针对性和用户友好至关重要。使用神经科学数据识别性格的能力是性格的神经生物学基础。本文旨在结合头皮脑电图 (EEG) 和机器学习技术自动识别性格。由于静息状态脑电图尚未被证明能够有效预测性格,我们使用了情绪处理过程中引发的脑电图记录。本研究基于 AMIGOS 数据集中的数据,该数据集反映了 37 名健康参与者的反应。从清理后的脑电图信号中提取脑网络和图论参数,同时使用 k 均值算法将每个特征得分分为低级和高级。随后使用特征选择算法将特征集大小缩减为最佳的 10 个特征,以分别描述每个特征。最后采用支持向量机 (SVM) 对每个实例进行分类。我们的方法对外向性、宜人性、责任心、神经质和开放性的分类准确率分别为 83.8%、86.5%、83.8%、83.8% 和 73%。
近年来,使用脑电图 (EEG) 识别情绪引起了广泛关注。尽管取得了进展,但有限的 EEG 数据限制了它的潜力。因此,生成对抗网络 (GAN) 被提出来模仿观察到的分布并生成 EEG 数据。然而,对于不平衡的数据集,GAN 仅通过模仿代表性不足的少数情绪就难以产生可靠的增强。因此,我们引入了情绪子空间约束的生成对抗网络 (ESC-GAN) 作为现有框架的替代方案。我们首先提出 EEG 编辑范式,将参考 EEG 信号从代表性良好的情绪子空间编辑到代表性不足的情绪子空间。然后,我们引入多样性感知和边界感知损失来约束增强子空间。在这里,多样性感知损失通过扩大样本差异来鼓励多样化的情感子空间,而边界感知损失将增强子空间限制在决策边界附近,而识别模型可能在此受到攻击。实验表明,ESC-GAN 提高了基准数据集 DEAP、AMIGOS 和 SEED 上的情感识别性能,同时防止了潜在的对抗性攻击。最后,所提出的方法为在情感子空间约束下编辑 EEG 信号开辟了新途径,促进了无偏且安全的 EEG 数据增强。
致谢 我想向我的母亲弗朗西斯卡 (Francisca) 和父亲埃利西亚里奥 (Elisiário) 表达最深切的谢意,感谢他们给予我的爱与支持,成就了今天的我。感谢我的兄弟雨果和克里斯蒂亚诺,他们给我带来了快乐和力量。致我最亲爱的朋友们,感谢你们在最艰难的时刻给予我力量。感谢爱德华多(Eduardo)无条件的鼓励和安慰餐。特别感谢我的导师 Athina Sachoulidou 教授,感谢她极其乐于助人和理解。致谢 特别深深地感谢我的母亲弗朗西斯卡 (Francisca) 和父亲埃利西娅里奥 (Elisiário),感谢他们给予我所有的爱、关怀和支持,让我成为了今天这样的人。感谢我的兄弟雨果和克里斯蒂亚诺,感谢他们给我带来了欢乐和力量。致我最亲爱的朋友们,感谢你们在最艰难的时刻给予我光明。致 Eduardo,感谢他无条件的鼓励和安慰的饭菜。我要特别感谢我的导师 Athina Sachoulidou 教授,感谢她极其乐于助人和理解。
5 Rancho Los Amigos 国家康复中心,美国加利福尼亚州唐尼 90242 *主要联系人:skwandelt@caltech.edu 摘要:语音脑机接口 (BMI) 将脑信号转换成单词或音频输出,使因疾病或受伤而失去语言能力的人们能够进行交流。虽然在发声、尝试和模仿语音解码方面已经取得了重要进展,但内部语音解码的成果却很少,而且尚未实现很高的功能性。值得注意的是,目前仍不清楚可以从哪些大脑区域解码内部语音。在这项工作中,一名四肢瘫痪的参与者在边缘上回 (SMG) 和初级体感皮层 (S1) 植入了微电极阵列,该参与者进行了六个单词和两个伪词的内部和发声语音转换。我们发现 SMG 单神经元活动具有强大的内部语音解码能力,在在线任务中分类准确率高达 91%(偶然水平 12.5%)。发现内部语音、单词阅读和发声语音过程之间存在共享神经表征的证据。SMG 表示不同语言(英语/西班牙语)的单词以及伪词,为语音编码提供了证据。此外,我们的解码器通过多种内部语音策略(听觉想象/视觉想象)实现了高分类。S1 中的活动受发声语音而非内部语音的调节,这表明在内部语音生成过程中没有发生声道的发声器运动。这项工作代表了高性能内部语音 BMI 的第一个概念验证。
会员服务呼叫中心每周7天、每天24小时(节假日除外)提供语言协助服务。工作时间内,我们可以免费为您提供翻译服务,包括手语。工作时间内,为残障人士免费提供辅助工具和服务。我们还可以为您、您的家人和朋友提供使用我们的护理设施和服务所需的任何特殊帮助。您可以免费请求将材料翻译成您的语言。您还可以免费索取大字号字体或其他适合您需要的格式的版本。如需了解更多信息,请拨打 1-800-788-0616(TTY 请拨打 711)。
通过 2025 年确认班做好准备这里有一些有趣的信息与您分享:今年进行确认的学生将于 1 月 19 日星期日上午 9:30 至中午 12:00 在我们的教区提供周日早午餐。门票将于周一至周四在办公室发售。门票价格为每人 5.00 美元。早午餐包括煎饼、百吉饼、鸡蛋和香肠、水果和咖啡。我们的确认学生将准备并提供早午餐,所以请前来支持他们,因为他们将学习如何服务社区。再次,早午餐是 1 月 19 日,从上午 9:30 到中午 12:00。门票将于周一至周四在办公室发售。这里有一条有趣的信息与您分享:今年接受坚振礼的学生将于 1 月 19 日星期日上午 9:30 至中午 12:00 在我们的教区为家人、朋友和教区居民提供早餐。门票将于周一至周四在办公室发售。每张门票 5.00 美元。早餐包括煎饼、百吉饼、鸡蛋、香肠、水果和咖啡。此次早餐将由我们的确认学生组织和提供,所以请在他们学习服务社区的过程中为他们提供支持。再次强调,早餐时间是 1 月 19 日,上午 9:30 至中午 12:00。门票将于周一至周四在办公室发售。第 5 页 928
1加利福尼亚理工学院的生物学与生物工程;美国加利福尼亚州91125,帕萨迪纳。2医学物理学巴黎,Inserm,CNRS,ESPCI巴黎,PSL研究大学; 75012巴黎,法国。3法国巴黎生物医学超声的INSERM技术研究加速器4 USC凯克医学院神经外科系;美国加利福尼亚州洛杉矶90033,美国。5 USC神经园林中心,USC凯克医学院;美国加利福尼亚州洛杉矶90033,美国。6兰乔·洛斯·阿米戈斯国家康复中心;美国加利福尼亚州90242,美国。7 T&C Chen Brain-i界接口中心,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 8南加州大学生物医学工程;美国加利福尼亚州洛杉矶。 9化学与化学工程,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 10 Andrew和Peggy Cherng医学工程系,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 11霍华德·休斯医学院;美国加利福尼亚州91125,帕萨迪纳。 a a型侧面侧面皮层(LIP)位于后顶叶皮层(PPC)内是将空间信息转化为准确的Saccadic眼球运动的重要区域。 尽管进行了广泛的研究,但我们并不完全了解唇内预期运动方向的功能解剖结构。 这部分是由于技术挑战所致。 电生理记录只能记录来自PPC的小区域,而fMRI和其他全脑技术缺乏足够的时空分辨率。7 T&C Chen Brain-i界接口中心,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。8南加州大学生物医学工程;美国加利福尼亚州洛杉矶。 9化学与化学工程,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 10 Andrew和Peggy Cherng医学工程系,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 11霍华德·休斯医学院;美国加利福尼亚州91125,帕萨迪纳。 a a型侧面侧面皮层(LIP)位于后顶叶皮层(PPC)内是将空间信息转化为准确的Saccadic眼球运动的重要区域。 尽管进行了广泛的研究,但我们并不完全了解唇内预期运动方向的功能解剖结构。 这部分是由于技术挑战所致。 电生理记录只能记录来自PPC的小区域,而fMRI和其他全脑技术缺乏足够的时空分辨率。8南加州大学生物医学工程;美国加利福尼亚州洛杉矶。9化学与化学工程,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。10 Andrew和Peggy Cherng医学工程系,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。 11霍华德·休斯医学院;美国加利福尼亚州91125,帕萨迪纳。 a a型侧面侧面皮层(LIP)位于后顶叶皮层(PPC)内是将空间信息转化为准确的Saccadic眼球运动的重要区域。 尽管进行了广泛的研究,但我们并不完全了解唇内预期运动方向的功能解剖结构。 这部分是由于技术挑战所致。 电生理记录只能记录来自PPC的小区域,而fMRI和其他全脑技术缺乏足够的时空分辨率。10 Andrew和Peggy Cherng医学工程系,加利福尼亚理工学院;美国加利福尼亚州91125,帕萨迪纳。11霍华德·休斯医学院;美国加利福尼亚州91125,帕萨迪纳。a a型侧面侧面皮层(LIP)位于后顶叶皮层(PPC)内是将空间信息转化为准确的Saccadic眼球运动的重要区域。尽管进行了广泛的研究,但我们并不完全了解唇内预期运动方向的功能解剖结构。这部分是由于技术挑战所致。电生理记录只能记录来自PPC的小区域,而fMRI和其他全脑技术缺乏足够的时空分辨率。在这里,我们使用功能性超声成像(FUSI),这是一种具有高灵敏度,大空间覆盖范围和良好空间分辨率的新兴技术,以确定如何在PPC跨PPC编码运动方向。我们使用FUSI记录了PPC中脑血容量的局部变化,因为两只猴子在整个视野中对目标进行了记忆引导的扫视。然后,我们分析了PPC每个冠状平面内首选方向反应场的分布。嘴唇中的许多子区域表现出强烈的定向调整,在几个月到几年之间是一致的。这些介质图在嘴唇中揭示了一个高度异质的组织,其中许多相邻的皮层编码不同的方向。唇部有一个粗糙的地形,前唇代表更对侧的向上运动,而后唇则代表了更对侧的向下运动。这些结果解决了我们对Lip功能组织的理解:贴片的邻里组织和整个LIP的更广泛的组织。这些发现是通过在数月到几年中跟踪相同的唇部种群的方法来实现的,并在以前使用fMRI或电生理学方法无法实现的方向特异性的介观图。c ommon缩写使用CBV:脑血体积FUSI:功能性超声成像GLM:通用线性型号IPS:内部内沟LDA LDA:线性判别分析LFP:局部田间电势LIP:侧向内部室内区域