LLM,也称为转换器或自回归语言模型编码器/解码器网络,在过去十年中在自然语言处理领域取得了重大进展。最显著的发展包括神经机器翻译模型,它在各种文本类型和任务上都胜过人类翻译。此外,大型 LLM 在许多自然语言处理 (NLP) 应用中越来越常见。尽管它们的性能令人印象深刻,但即使在中等规模上训练这些模型仍然需要大量计算。这种限制可能部分归因于此类 LLM 所需的参数数量非常大——每个编码器和解码器需要比同等较小模型多数百或数千个神经元。此外,训练需要大量数据。为了解决这些限制,已经提出了几种策略来微调(即预处理)