我们将“注意力就是你所需要的一切”规模化为一个工业规模的随机鹦鹉农场，然后安装了代理和工具，直到它开始看起来更像是我们的想法。现在，工程现实——晶圆厂、电力和令人眼花缭乱的代币账单——正在询问我们所做的事情是否值得。通用法学硕士开始在自己的输出上进行近亲繁殖，这与依靠严格约束的对抗性合成数据而蓬勃发展的游戏人工智能不同。我们是否将自己困在潜在推理空间的一个充满斜坡的子超平面中？从注意力开始就是你所需要的，然后进行扩展。结果是，正如 Cosma Shalizi 三年前指出的那样：分享赠送订阅Cosma Shalizi：神经网络“大型语言模型”中的“注意力”、“变形金刚”：“[一项]令人难以置信的
