从 MOCO v1 到 v3：构建自监督学习的动态词典——第 1 部分
从 MOCO v1 到 v3：走向构建自监督学习的动态词典 - 第 1 部分对动量对比学习框架的简要回顾我们是否已经进入自监督学习时代？数据每天都在流入。人们全天候工作。工作分布在世界的每个角落。但是，仍然有如此多的数据未注释，等待新模型、新训练或新升级的可能使用。或者，它永远不会发生。当世界以监督的方式运行时，它永远不会发生。近年来，自监督学习的兴起揭示了一个新的方向。自监督学习不是为所有任务创建注释，而是将任务分解为前置/预训练（请参阅我之前关于预训练的帖子）任务和下游任务。前置任务专注于从整个数据集中提取代表性特征，而无需任何基本事实注释的指导。尽管如此，此任务仍需要从数据集自动生成标签，通常通过大量数据增强来实现。因此，我们在本文中交替使用术语无监督学习（数据集未注释）和自监督学习（任务由自生成的标签监督）。对比学习是自监督学习的主要类别。它使用未标记的数据集和对比信息编码损失（例如，对比损失、InfoNCE 损失、三重态损失等）来训练深度学习网络。主要对比学习
来源:走向数据科学从 MOCO v1 到 v3：构建自监督学习的动态词典 — 第 1 部分
从 MOCO v1 到 v3：构建自监督学习的动态词典 — 第 1 部分
动量对比学习框架的简要回顾
我们是否已经进入自监督学习时代？
我们是否已经进入自监督学习时代？数据每天都在涌入。人们全天候工作。工作分布在世界的每个角落。但是，仍然有如此多的数据未被注释，等待新模型、新训练或新升级的可能使用。
或者，它永远不会发生。当世界以监督的方式运行时，它永远不会发生。
近年来，自监督学习的兴起揭示了一个新的方向。自监督学习不是为所有任务创建注释，而是将任务分为借口/预训练（请参阅我之前关于预训练的帖子）任务和下游任务。借口任务专注于从整个数据集中提取代表性特征，而无需任何基本事实注释的指导。尽管如此，此任务仍需要从数据集自动生成标签，通常是通过大量数据增强来实现的。因此，我们在本文中交替使用术语无监督学习（数据集未注释）和自监督学习（任务由自生成的标签监督）。
这里 无监督学习 自监督学习对比学习是自监督学习的主要类别。它使用未标记的数据集和对比信息编码损失（例如，对比损失、InfoNCE 损失、三重态损失等）来训练深度学习网络。主要的对比学习包括 SimCLR、SimSiam 和 MOCO 系列。
对比学习是自监督学习的一个主要类别 “[引自 原始论文 原始论文 。学习被表述为最小化对比损失。”在本文中，我们将对 MOCO v1 到 v3 进行温和的回顾：