XiaoMi-AI文件搜索系统
World File Search Systemjepa
S-JEPA：通过动态空间注意力实现无缝跨数据集传输
摘要：受脑电图信号处理中跨数据集无缝传输的挑战的启发，本文对联合嵌入预测架构 (JEPA) 的使用进行了探索性研究。近年来，自监督学习已经成为一种在各个领域进行迁移学习的有前途的方法。然而，它在脑电图信号中的应用仍未得到充分探索。在本文中，我们介绍了用于表示脑电图记录的 Signal-JEPA，其中包括一种新颖的领域特定空间块掩蔽策略和三种用于下游分类的新型架构。该研究针对 54 个受试者的数据集进行，并在三种不同的 BCI 范式上评估模型的下游性能：运动意象、ERP 和 SSVEP。我们的研究为 JEPA 在脑电图信号编码中的潜力提供了初步证据。值得注意的是，我们的结果强调了空间滤波对于准确下游分类的重要性，并揭示了预训练示例的长度对下游性能的影响，而不是掩码大小的影响。
图形级表示与联合...
联合装饰预测架构（JEPA）最近成为一种新颖而有力的技术，用于自我监督的代表学习。他们旨在通过从上下文信号x的潜在反映中预测目标信号y的潜在表示基于能量的模型。JEPA绕过对负面样本和积极样本的需求，传统上是由对比度学习所必需的，同时避免了与生成预处理相关的过度拟合问题。在本文中，我们表明，可以通过提出图形联合装置谓语体系结构（Graph-jepa）来有效地使用此范式进行图形级表示。特别是，我们采用蒙版的建模并专注于预测从上下文子图的潜在代表开始的掩盖子图的潜在表示。为了赋予图表概念中通常存在的隐式层次结构，我们设计了一个替代预测目标，该目标包括预测2D平面中单位双曲线上编码子图的坐标。通过多次实验评估，我们表明Graph-jepa可以学习高度语义和表现力的表示，如图分类，回归和区分非同构图中的下游性能所示。该代码可在https://github.com/geriskenderi/graph-jepa上找到。
掩盖了判别性自我...
自我监督的表示学习（SSL）（Balesteriero等人，2023年）近年来已经成为表示学习的基石。诸如Openai剪辑之类的模型（Radford等人，2021）示例SSL方法如何产生适用于广泛下游任务的表达性表示。此范式依赖于配对的观测值（配对的视图或共享相同内容的方式）来提取有意义的特征。从广义上讲，SSL方法分为两类：歧视性和生成性（或基于重建）。歧视性SSL（Chen等人，2020年）旨在确保比随机采样观测值在潜在空间中更接近配对观测的表示。相反，基于重建的SSL（He等人，2022）涉及从其对中重建一个观察结果。在多视图设置中，数据增强技术（例如图像裁剪和颜色抖动）通常用于人为地创建单个单个观测值。在这些增强中，事实证明，图像裁剪特别有影响力，推动了视觉学习模型（例如Meta's Dino）（Caron等人，2021; Oquab等。，2023）和JEPA（Assran等人，2023）。最近的研究（Bizeul等人，2024）1表明，在图像域中，掩盖（概念上类似于裁剪），而不是单个图像像素可以生成图像对，从而促进基于重建的SSL中表达特征的学习。，2023）。在这个项目中，我们的目标是投资于将类似方法应用于歧视性SSL是否可以产生可比的好处，专门针对Dino，Jepa和Siglip（Zhai等人。