详细内容或原文请订阅后点击阅览
神经机器翻译的最佳语料库意识培训
语料库意识培训（CAT）在培训期间通过将语料库信息注入每个培训示例，以利用有价值的语料库元数据，并在文献中被发现有效，通常称为“标记”方法。经过猫训练的模型直接从数据直接学习了Corpora之间的质量，领域和细微差别，并且可以轻松切换到不同的推理行为。为了获得最佳的评估，CAT模型在训练开始之前预定了一组高质量的数据，这可能是错误的效率和效率低下的。在这项工作中，我们提出了最佳语料库意识培训…
来源:Apple机器学习研究语料库意识培训（CAT）在培训期间通过将语料库信息注入每个培训示例，以利用有价值的语料库元数据，并在文献中被发现有效，通常称为“标记”方法。经过猫训练的模型直接从数据直接学习了Corpora之间的质量，领域和细微差别，并且可以轻松切换到不同的推理行为。为了获得最佳的评估，CAT模型在训练开始之前预定了一组高质量的数据，这可能是错误的效率和效率低下的。在这项工作中，我们提出了最佳语料库意识培训（OCAT），该培训（OCAT）通过冻结大多数模型参数，仅调整与语料库相关的小参数来微调预训练的模型。我们表明，OCAT轻巧，有弹性，可以过度拟合，并有效提高模型的准确性。我们将WMT23英语对中文和英文进行德语翻译任务作为我们的测试场，分别通过香草培训显示+3.6和+1.8 CHRF改进。此外，我们的方法在PAR或比其他最先进的微调技术方面更好，同时对超参数设置不太敏感。