详细内容或原文请订阅后点击阅览
法学硕士+
当 ChatGPT 在 2022 年底作为实验原型推出时，OpenAI 的聊天机器人成为数亿人的日常应用程序。像 ChatGPT 这样的法学硕士代表了新的未来：整个科技行业都被地狱吞噬，公司竞相推出竞争对手的产品。旧科技世界的灰烬仍然......
来源:MIT Technology Review _人工智能要实现这一目标，需要做一些事情。首先，法学硕士必须变得更加高效、运行成本更低。一些最大的进步就在这方面。一种称为专家混合的方法将法学硕士分为更小的部分，并为每个部分提供不同类型任务的专业知识。这意味着在给定时间只需要打开模型的某些部分。
提高法学硕士效率的另一种方法可能是放弃变压器（当今几乎所有法学硕士的神经网络类型），转而采用扩散模型，这是一种更常用于图像和视频生成的神经网络替代类型。还有更多的实验方法。去年，中国人工智能公司 DeepSeek 展示了一种在图像中编码文本的方法，从而降低了计算成本。
另一个关键的进展领域与法学硕士的上下文窗口有关。这是模型一次可以接受的文本（或视频）量，相当于其工作记忆。几年前，法学硕士可以一次性处理数千个标记（单词或单词的一部分）或几十页文本。最新模型现在的上下文窗口长达一百万个令牌——一整堆书。 但上下文窗口越大、任务越长，模型就越有可能偏离轨道或忘记自己在做什么。那里也正在发生突破。麻省理工学院 CSAIL 的研究人员最近发表的一篇论文介绍了他们所谓的递归法学硕士。递归 LLM 不是立即获取巨大的上下文窗口，而是将其输入分解为块，并将每个块发送到其自身的副本，这反过来可能会再次分解这些块并将结果发送到更多副本。多个法学硕士处理较小的信息似乎对于长期、艰巨的任务来说更加可靠。结果是获得法学硕士学位，但不是我们所知的那样。