Fine-Tuning Explained for Noobs (How Pretrained Models Learn New Skills)
您不需要博士学位就能理解微调。本文解释了预训练模型如何通过微调来学习新技能。
When Unlearning Is Free: Leveraging Low Influence Points to Reduce Computational Costs
随着对机器学习中数据隐私的担忧不断增加，从训练模型中遗忘或删除特定数据点的能力变得越来越重要。尽管最先进的遗忘方法已经出现，但它们通常平等地对待遗忘集中的所有点。在这项工作中，我们通过询问来挑战这种方法：是否需要删除对模型学习影响可忽略不计的点？通过对语言和视觉任务的影响函数进行比较分析，我们确定了对模型输出影响可以忽略不计的训练数据子集……
Pre-training isn’t bitter enough
理查德·萨顿 (Richard Sutton) 的“惨痛教训”通常被解读为对人工智能系统构建过多人类知识的警告。从长远来看，获胜的方法不是那些最直接编码我们聪明直觉的方法，而是那些可扩展的方法：搜索、学习和其他可以吸收更多计算和数据的通用方法。乍一看，现代基础模型预训练看起来就像是该课程的胜利。我们采用通用架构，将其暴露给海量数据，并以简单的自我监督目标对其进行训练。语言模型预测下一个标记。视觉模型重建遮罩斑块、对齐视图或匹配教师表示。该配方简单且可扩展。但有一个问题。预训练可能会遵循“痛苦的教训”来训练模型，但不会选择模型应该训练的内容。目标仍然是在训练循环之外选择的。我们进行大规模的预训练
