适应训练关键词检索结果

Apple机器学习研究
2025年2月4日 00:00

具有可扩展在线双层优化的自适应训练分布

Adaptive Training Distributions with Scalable Online Bilevel Optimization

在网络规模语料库上进行预训练的大型神经网络是现代机器学习的核心。在这种范式中，大型异构预训练数据的分布很少与应用领域的分布相匹配。这项工作考虑在拥有反映目标测试条件的少量数据样本的情况下修改预训练分布。我们提出了一种算法，该算法受到最近将此设置表述为在线双层优化问题的启发。考虑到可扩展性，我们的算法优先考虑在可能... 的训练点计算梯度。