打破扩展代码：AI 模型如何重新定义规则

近年来，人工智能取得了长足进步。曾经在基本任务上挣扎的模型现在擅长解决数学问题、生成代码和回答复杂问题。这一进步的核心是缩放定律的概念——这些规则解释了人工智能模型如何随着它们的发展、在更多数据上进行训练或由更大的计算资源驱动而改进。多年来，这些定律一直是开发更好的人工智能的蓝图。

缩放定律 缩放定律

最近，出现了一种新趋势。研究人员正在寻找方法来实现突破性的成果，而不是简单地让模型变得更大。这种转变不仅仅是一种技术进化。它正在重塑人工智能的构建方式，使其更高效、更易于访问、更可持续。

缩放定律的基础

缩放定律就像是人工智能改进的公式。它们指出，随着模型的大小增加、输入更多数据或让其获得更多计算能力，其性能就会提高。例如：

模型大小：具有更多参数的大型模型可以学习和表示更复杂的模式。参数是模型的可调整部分，允许模型进行预测。

模型大小

数据：在庞大而多样化的数据集上进行训练有助于模型更好地泛化，使它们能够处理未明确训练的任务。

数据

计算：更强大的计算能力可以实现更快、更高效的训练，从而实现更高的性能。

计算

十多年来，这一秘诀推动了人工智能的发展。早期的神经网络（如 AlexNet 和 ResNet）展示了如何通过增加模型大小来改善图像识别。然后是 Transformer，其中 GPT-3 和 Google 的 BERT 等模型表明，扩展可以释放全新的功能，例如小样本学习。

AlexNet ResNet GPT-3 BERT

扩展的极限

收益递减规律 数百万美元 研究

打破扩展代码

更智能的模型设计： 稀疏模型 Mistral 7B Mistral 7B 线性注意力机制 更好的数据策略： 课程学习