机构名称：
¥ 2.0
联合装饰预测架构（JEPA）最近成为一种新颖而有力的技术，用于自我监督的代表学习。他们旨在通过从上下文信号x的潜在反映中预测目标信号y的潜在表示基于能量的模型。JEPA绕过对负面样本和积极样本的需求，传统上是由对比度学习所必需的，同时避免了与生成预处理相关的过度拟合问题。在本文中，我们表明，可以通过提出图形联合装置谓语体系结构（Graph-jepa）来有效地使用此范式进行图形级表示。特别是，我们采用蒙版的建模并专注于预测从上下文子图的潜在代表开始的掩盖子图的潜在表示。为了赋予图表概念中通常存在的隐式层次结构，我们设计了一个替代预测目标，该目标包括预测2D平面中单位双曲线上编码子图的坐标。通过多次实验评估，我们表明Graph-jepa可以学习高度语义和表现力的表示，如图分类，回归和区分非同构图中的下游性能所示。该代码可在https://github.com/geriskenderi/graph-jepa上找到。
图形级表示与联合...
主要关键词
相关文件推荐
