详细内容或原文请订阅后点击阅览
预训练还不够苦
理查德·萨顿 (Richard Sutton) 的“惨痛教训”通常被解读为对人工智能系统构建过多人类知识的警告。从长远来看，获胜的方法不是那些最直接编码我们聪明直觉的方法，而是那些可扩展的方法：搜索、学习和其他可以吸收更多计算和数据的通用方法。乍一看，现代基础模型预训练看起来就像是该课程的胜利。我们采用通用架构，将其暴露给海量数据，并以简单的自我监督目标对其进行训练。语言模型预测下一个标记。视觉模型重建遮罩斑块、对齐视图或匹配教师表示。该配方简单且可扩展。但有一个问题。预训练可能会遵循“痛苦的教训”来训练模型，但不会选择模型应该训练的内容。目标仍然是在训练循环之外选择的。我们进行大规模的预训练运行，评估下游性能，调整配方，然后再次运行。学习者优化一个自我监督的学习目标，但下游反馈实际上只有在整个训练过程之后才会到达。这是一个非常粗略的控制循环。本文询问该循环是否可以做得更多[...]
来源:ΑΙhub任务构建作为持续预训练中的控制面。构造规则将每个未标记的示例映射到自监督预测问题中，例如语言建模中的单热下一个标记预测或 DINO 风格视觉 SSL 中的成对视图和目标。标准持续预训练在训练前修正了这一规则，而 V 预训练则用反馈训练的设计者取代了它，同时保持学习者自我监督更新。
作者：柯舒琪、Giulia Fanti
理查德·萨顿 (Richard Sutton) 的“惨痛教训”通常被解读为对人工智能系统构建过多人类知识的警告。从长远来看，获胜的方法不是那些最直接编码我们聪明直觉的方法，而是那些可扩展的方法：搜索、学习和其他可以吸收更多计算和数据的通用方法。
现代基础模型预训练乍一看像是那节课的胜利。我们采用通用架构，将其暴露给海量数据，并以简单的自我监督目标对其进行训练。语言模型预测下一个标记。视觉模型重建遮罩斑块、对齐视图或匹配教师表示。该配方简单且可扩展。
但有一个问题。
预训练可能会遵循“惨痛教训”来训练模型，但不会选择模型应该训练的内容。目标仍然是在训练循环之外选择的。我们进行大规模的预训练运行，评估下游性能，调整配方，然后再次运行。学习者优化一个自我监督的学习目标，但下游反馈实际上只有在整个训练过程之后才会到达。这是一个非常粗略的控制循环。
一步估计
假设候选自监督任务产生预训练梯度。小批量反馈产生下游梯度。如果我们使用一个小的学习步骤，下游损失将大致变化为：
实例化和主要结果
这是否会延长痛苦的教训？
标签：
ML@CMU