详细内容或原文请订阅后点击阅览
重新思考人工智能发展中的缩放定律
随着开发人员和研究人员不断突破 LLM 性能的界限，效率问题也日益凸显。直到最近，人们的注意力都集中在增加模型的大小和训练数据量上，而很少关注数值精度——即计算过程中用于表示数字的位数。研究人员最近进行的一项研究 […] 重新思考 AI 开发中的缩放定律一文首先出现在 Unite.AI 上。
来源:Unite.AI随着开发人员和研究人员不断突破 LLM 性能的界限，关于效率的问题也日益凸显。直到最近，人们的注意力一直集中在增加模型的大小和训练数据的数量上，而很少关注数值精度——即在计算过程中用于表示数字的位数。
效率问题日益凸显哈佛大学、斯坦福大学和其他机构的研究人员最近进行的一项研究颠覆了这种传统观点。他们的研究结果表明，精度在优化模型性能方面发挥的作用远比以前认识到的要重要得多。这一发现对人工智能的未来有着深远的影响，为指导模型开发的缩放定律引入了一个新维度。
最近的研究关注精度
人工智能中的数值精度是指在计算过程中用于表示数字的细节级别，通常以位数为单位。例如，16 位精度表示的数字比 8 位精度更精细，但需要更多的计算能力。虽然这看起来像是一个技术细节，但精度直接影响 AI 模型的效率和性能。
这项名为“精度的缩放定律”的研究深入探讨了精度与模型性能之间经常被忽视的关系。研究人员进行了超过 465 次的广泛训练，测试了精度不同的模型，精度范围从 3 位到 16 位不等。这些模型包含多达 17 亿个参数，在多达 260 亿个标记上进行了训练。
精度的缩放定律 量化新兴的缩放定律
这项研究的主要贡献之一是引入了新的缩放定律，将精度与参数计数和训练数据等传统变量结合起来。这些定律为确定在模型训练期间分配计算资源的最有效方法提供了路线图。