详细内容或原文请订阅后点击阅览
使用高斯过程的自监督学习
自监督学习 (SSL) 是一种机器学习范例，其中模型学习理解数据的底层结构，而无需来自标记样本的显式监督。从 SSL 获取的表示已被证明可用于许多下游任务，包括聚类和线性分类等。为了确保表示空间的平滑性，大多数 SSL 方法依赖于生成与给定实例相似的观察对的能力。然而，对于许多类型的数据来说，生成这些对可能具有挑战性。而且，这些方法缺乏考虑……
来源:Apple机器学习研究自监督学习 (SSL) 是一种机器学习范例，其中模型学习理解数据的底层结构，而无需来自标记样本的显式监督。从 SSL 获取的表示已被证明可用于许多下游任务，包括聚类和线性分类等。为了确保表示空间的平滑性，大多数 SSL 方法依赖于生成与给定实例相似的观察对的能力。然而，对于许多类型的数据来说，生成这些对可能具有挑战性。此外，这些方法缺乏对不确定性量化的考虑，并且在样本外预测设置中表现不佳。为了解决这些限制，我们提出了高斯过程自监督学习（GPSSL），这是一种利用高斯过程（GP）模型进行表示学习的新方法。 GP 先验被强加于表征上，我们获得了一个广义贝叶斯后验，最小化了鼓励信息表征的损失函数。 GP 固有的协方差函数自然地将相似单元的表示拉在一起，作为使用明确定义的正样本的替代方案。我们证明 GPSSL 与内核 PCA 和 VICReg（一种流行的基于神经网络的 SSL 方法）密切相关，但与两者不同的是，它允许后验不确定性传播到下游任务。在考虑分类和回归任务的各种数据集上进行的实验表明，GPSSL 在准确性、不确定性量化和误差控制方面优于传统方法。