机构名称：
¥ 2.0
近年来，NLP模型的快速发展主要是通过Google和多伦多大学研究人员开发的变压器体系结构[2] B。变压器体系结构最初用于翻译语言，但是由于其出色的计算性能（通过并行处理所有输入），而不是先前使用的体系结构，因此在几种情况下已经探索了它。此外，由于它在独特的下游应用程序中取得了成功（文本摘要，自动完成，聊天对话生成等。），多年来NLP模型中的参数数量迅速增加，如图1所示。该图显示了自2017年以来模型大小的演变，从变压器模型开始于2017年6月Google宣布的6500万参数。使用虚线描绘了大于1万亿的型号。我们包含的最大模型可以实现以上的参数大小，因为它们使用稀疏激活的结构，在推断期间，只有LLM的一部分神经元的一部分被激活，而不是全部。但是，它们的广泛采用受到复杂性，沟通成本和培训不稳定性等因素的阻碍[15]。尽管存在这些障碍，但它们的建筑设计应被视为未来模型缩放的有力候选人。此外，诸如GPT-4和Gemini之类的模型以其多模式功能而闻名，这不仅可以处理文本，还可以处理诸如Image，Video和Audio之类的视觉和听觉输入。图1基于参考文献[1]中的信息。
具有高带宽内存的微调LLM的效果
主要关键词
相关文件推荐
