XiaoMi-AI文件搜索系统
World File Search System捕捉时间
从 EEG 中捕捉时间动态和空间不对称......
摘要— 高时间分辨率和不对称空间激活是脑电图 (EEG) 的基本属性，是大脑情绪过程的基础。为了学习 EEG 的时间动态和空间不对称性以实现准确和广义的情绪识别，我们提出了 TSception，这是一种可以从 EEG 中对情绪进行分类的多尺度卷积神经网络。TSception 由动态时间、不对称空间和高级融合层组成，它们同时学习时间和通道维度中的判别表示。动态时间层由多尺度 1D 卷积核组成，其长度与 EEG 的采样率有关，它学习 EEG 的动态时间和频率表示。不对称空间层利用情绪的不对称 EEG 模式，学习判别性全局和半球表示。学习到的空间表示将由高级融合层融合。使用更通用的交叉验证设置，在两个公开可用的数据集 DEAP 和 MAHNOB-HCI 上评估所提出的方法。将所提出的网络的性能与 SVM、KNN、FBFgMDM、FBTSC、无监督学习、DeepConvNet、ShallowConvNet 和 EEGNet 等先前报告的方法进行了比较。在大多数实验中，TSception 的分类准确率和 F1 分数高于其他方法。代码可在以下位置获得：https://github.com/yi-ding-cs/TSception
通过自监督学习捕捉时间节点演化：动态图学习的新视角
由于动态图会随着时间的推移而演变，因此在社会关系分析、推荐系统和医学等许多领域发挥着重要作用。捕捉动态图的演变模式是至关重要的。现有的研究大多集中于限制邻居快照之间的时间平滑度，而未能捕捉到有利于图动态嵌入的急剧变化。为了解决这个问题，我们假设动态图节点的演化可以分为时间移位嵌入和时间一致性嵌入。因此，我们提出了自监督时间感知动态图表示学习框架（STDGL），通过精心设计的辅助任务从节点局部和全局连接建模的角度以自监督的方式将时间移位嵌入与时间一致性嵌入分离，进一步增强可解释图表示的学习并提高各种下游任务的性能。在链接预测、边缘分类和节点分类任务上进行的大量实验表明，STDGL 成功学习了解开的时间偏移和一致性表示。此外，结果表明，我们的 STDGL 比最先进的方法有显著的改进，并且由于解开的节点表示而具有吸引人的可解释性和可迁移性。
TSception：从脑电图中捕捉时间动态和空间不对称以实现情绪识别
摘要 — 高时间分辨率和不对称空间激活是脑电图 (EEG) 的基本属性，是大脑情绪过程的基础。为了学习 EEG 的时间动态和空间不对称性以实现准确和广义的情绪识别，我们提出了 TSception，这是一种可以从 EEG 中对情绪进行分类的多尺度卷积神经网络。TSception 由动态时间、不对称空间和高级融合层组成，它们同时学习时间和通道维度中的判别表示。动态时间层由多尺度 1D 卷积核组成，其长度与 EEG 的采样率有关，它学习 EEG 的动态时间和频率表示。不对称空间层利用情绪的不对称 EEG 模式，学习判别性全局和半球表示。学习到的空间表示将由高级融合层融合。使用更通用的交叉验证设置，在两个公开可用的数据集 DEAP 和 MAHNOB-HCI 上评估所提出的方法。将所提出的网络的性能与 SVM、KNN、FBFgMDM、FBTSC、无监督学习、DeepConvNet、ShallowConvNet 和 EEGNet 等先前报告的方法进行了比较。在大多数实验中，TSception 的分类准确率和 F1 分数高于其他方法。代码可在以下位置获得：https://github.com/yi-ding-cs/TSception
Spark：自我监督的个性化实时单眼捕获**补充材料**
3D面部绩效捕获是几种应用中的关键组成部分，包括AR或VR中的身临其境的触觉以及娱乐行业的视觉效果。生产高质量的恢复通常需要大量的财务，时间和资源投资。这不仅涉及昂贵的3D捕获设备[Beeler等。2010; Debevec等。2000]，基于精确的标记跟踪系统[Bennett and Carter 2014]或头部安装式分配[Brito and Mitchell 2019]，但也从演员那里进行了大量的捕捉时间。无标记的捕获设置是简化该管道的有希望的解决方案，但是高质量的结果仍然依赖于复杂的钻机[Helman等。2020]或大型个性化培训数据集[Laine等。2017; Wu等。2018]。在频谱的另一端是3D重建方法，可以在负担得起的消费者等级硬件中使用图像或视频操作。主要思想是使用3D面的统计模型 - 所谓的3D形态模型（3DMMS），它们使用基于优化的[Andrus等人都拟合到RGB图像或2D地标。2020; Zielonka等。2022]或基于学习的方法[Danecek等。2022;冯等人。2021; Retsinas等。2024]。统计模型的先验知识有助于克服问题的不良性质，而基于学习的技术的发展使姿势，照明和闭塞的前所未有的鲁棒性。但是，这是以较低的几何质量为代价的，仅提供了形状和表达的粗略近似，而该形状和表达却差不多。
MBrain：一种用于脑信号的多通道自监督学习框架
脑信号是理解人脑生理活动和疾病的重要定量数据。同时，快速发展的深度学习方法为更好地建模脑信号提供了广泛的机会，近年来吸引了大量研究投入。现有研究大多关注监督学习方法，但该方法需要高成本的临床标签。此外，侵入性（如SEEG）和非侵入性（如EEG）方法测得的脑信号的临床模式差异巨大，导致缺乏统一的方法。为了处理上述问题，本文提出研究脑信号的自监督学习（SSL）框架，可应用于预训练SEEG或EEG数据。直观地看，脑信号是由神经元放电产生的，会在人脑不同的连接结构之间传输。受此启发，我们提出MBrain来学习不同通道（即电极触点，对应不同的脑区）之间隐含的空间和时间相关性，作为统一建模不同类型脑信号的基石。具体来说，我们用一个图结构来表示空间相关性，该图结构是基于提出的多通道 CPC 构建的。我们从理论上证明优化多通道 CPC 的目标可以得到更好的预测表示，并在此基础上应用瞬时时间移位预测任务。然后，我们通过设计延迟时间移位预测任务来捕捉时间相关性。最后，提出替代判别学习任务来保留每个通道的特征。在 EEG 和 SEEG 大规模真实数据集上进行的大量癫痫检测实验表明，我们的模型优于几种最先进的时间序列 SSL 和无监督模型，并且有能力部署到临床实践中。
用于规则和不规则时间序列分类的新型高效储层计算方法
时间序列是指在一段时间内按时间顺序收集的一系列数据点，每个点通常记录在特定的时间戳。时间序列有两个主要组成部分：时间戳和观测值。时间戳表示获取特定记录的时间，而观测值则显示与每个时间戳相关联的值，该值表明该值相对于其他时间点的相对重要性。此外，时间序列数据可能还带有一些其他模式，使时间序列分析更具挑战性。例如，来自同一数据集的样本可能具有不同的长度（可变长度）和/或相邻时间点可能具有不同的时间间隔（异质间隔）。时间序列分析涉及研究和解释样本随时间变化的趋势和依赖性等模式，并已广泛应用于现实世界现象 [1-3]。其中，时间序列分类 (TSC) 专注于将序列数据分类并标记为不同的类别，在医学、电信和金融等领域发挥着不可或缺的作用。TSC 算法的有效性取决于它们平衡短期和长期记忆以及捕捉时间依赖性的能力，同时将所需模式与噪声模式区分开来。在过去的几十年中，已经开发了大量算法来解决这一特定领域。到目前为止，长短期记忆 (LSTM) 网络可以看作是一个里程碑式的突破，它为序列数据中复杂的长期依赖关系建模所带来的挑战提供了强大的解决方案 [4-7]。LSTM 网络是一种循环神经网络 (RNN)，它利用记忆单元和门作为控制信息在网络中流动的手段。网络的设计主要是为了缓解梯度消失的瓶颈。然而，网络的训练是通过最先进的时间反向传播 (BPTT) 技术实现的。虽然 BPTT 是一种强大而有效的方法，但它的计算成本可能很高，尤其是对于大型和深度神经网络而言。除了反向传播辅助神经网络外，基于距离的方法也在广泛的 TSC 任务中取得了巨大的成功 [8-10]，其中，1-最近邻动态时间规整 (1NN-DTW) 已被证明
面向脑电信号处理的脑启发基础模型：我们的观点
近年来，人工智能和机器学习 (ML) 彻底改变了各个科学技术领域，在计算机视觉、自然语言处理和医疗保健方面取得了重大进步（Esteva 等人，2019 年）。尽管取得了这些进展，但由于大脑活动的复杂性和非平稳性，将这些技术应用于脑电图 (EEG) 信号的分析仍面临独特的挑战。EEG 是实时了解大脑动态的关键工具，常用于临床诊断、认知神经科学和脑机接口（Schomer and Lopes da Silva，2017 年）。然而，EEG 信号的噪声和高维性质使得标准深度学习模型难以有效应用。基础模型（例如基于 Transformer 的架构）在自然语言处理和计算机视觉等领域表现出前所未有的性能（Vaswani，2017 年；Radford 等人，2021 年）对于应对这些挑战大有希望。这些模型在海量数据集上进行预训练，然后针对特定任务进行微调，从而具有广泛的泛化和适应性。然而，它们在脑电图分析中的有效性有限，因为它们往往缺乏捕捉时间精度和生物合理性的机制，而这些对于准确建模脑信号至关重要（Roy et al., 2019）。克服这些限制的一个有希望的方向是将受脑启发的算法融入基础模型。受脑启发的算法，例如脉冲神经网络 (SNN)、分层时间记忆 (HTM) 和生物学上合理的学习机制，如赫布学习，模仿了神经过程的结构和功能（Schmidgall et al., 2024）。这些算法旨在捕捉更类似于实际大脑网络中观察到的时间和空间动态。将这些算法融入基础模型可能会弥合标准深度学习方法与脑电图信号的动态、多维性质之间的差距。因此，在本文中，我们提供了关于如何将脑启发算法与基础模型相结合以增强 EEG 信号分析的观点。我们认为，通过将基础模型的可扩展性和通用性与脑启发算法的时间特异性和生物学合理性相结合，这种混合方法可以解决 EEG 信号处理中的当前局限性。虽然这些方法的整合带来了重大的技术挑战，但它们的协同作用可以为神经科学中更准确、更可解释的 AI 系统提供新的途径。