详细内容或原文请订阅后点击阅览
“代理人工智能”是代币的篝火，而晶圆厂产能、电网和损益表则是刹车：（不是）当日读物
我们将“注意力就是你所需要的一切”规模化为一个工业规模的随机鹦鹉农场，然后安装了代理和工具，直到它开始看起来更像是我们的想法。现在，工程现实——晶圆厂、电力和令人眼花缭乱的代币账单——正在询问我们所做的事情是否值得。通用法学硕士开始在自己的输出上进行近亲繁殖，这与依靠严格约束的对抗性合成数据而蓬勃发展的游戏人工智能不同。我们是否将自己困在潜在推理空间的一个充满斜坡的子超平面中？从注意力开始就是你所需要的，然后进行扩展。结果是，正如 Cosma Shalizi 三年前指出的那样：分享赠送订阅Cosma Shalizi：神经网络“大型语言模型”中的“注意力”、“变形金刚”：“[一项]令人难以置信的令人印象深刻的工程成就，[实际上]使受祝福的东西发挥作用。多年来，一大群、有能力、自信的人在机器学习领域推动基于内核的方法，但没有人取得像现代大型语言模型所展示的那样的成就。我之所以努力理解这些机器和论文，正是因为结果令人印象深刻！…再次：有限阶马尔可夫模型…。很多人都尝试过它们，包括可变上下文长度、各种部分池化等技巧。据我所知，没有人取得过成果
来源:Brad DeLong我们将“注意力就是你所需要的一切”规模化为一个工业规模的随机鹦鹉农场，然后安装了代理和工具，直到它开始看起来更像是我们的想法。现在，工程现实——晶圆厂、电力和令人眼花缭乱的代币账单——正在询问我们所做的事情是否值得。通用法学硕士开始在自己的输出上进行近亲繁殖，这与依靠严格约束的对抗性合成数据而蓬勃发展的游戏人工智能不同。我们是否将自己困在潜在推理空间的一个充满斜坡的子超平面中？
从注意力开始就是你所需要的，然后扩展。正如 Cosma Shalizi 三年前指出的那样，结果是：
分享
赠送订阅礼物
Cosma Shalizi：神经网络“大型语言模型”中的“注意力”、“变形金刚”：“[一项]令人印象深刻的工程成就[实际上]使这件受祝福的事情发挥作用。多年来，一大群、有能力、自信的人在机器学习领域推动基于内核的方法，但没有人取得像现代大型语言模型所展示的那样的成就。我之所以花功夫去了解这些机器和论文，正是因为结果令人印象深刻！…
再次：有限阶马尔可夫模型......很多人都尝试过它们，包括诸如可变上下文长度、各种部分池化等技巧。据我所知，没有人取得了与当代法学硕士可以达到的成果相媲美的成果。这令人印象深刻，以至于（正如我在这些笔记开头所说的那样）我需要全神贯注于它们，以免我变得过时......
然后在过去的四年里，自从最初的 ChatGPT 完全出人意料的成功以来，它就扩展到了月球。沿着三个不同的维度缩放到月球：
更大的型号，
更大的数据，
更多运行。
发表评论
团体订阅可享受 75% 的折扣
推荐朋友
但目前，Anthropic 是独一无二的。