详细内容或原文请订阅后点击阅览
下一代法学硕士：有针对性的改进还是架构改革？
现代大语言模型的主要问题和局限性以及该领域进一步技术发展的可能途径成为年度数据融合会议讨论的主要话题之一。
来源:OSP网站大数据新闻问题“下一步去哪里？”当一项技术的改进达到“拐点”并且无法再提供关键性能指标的指数增长时，这种技术往往就会脱颖而出。俄罗斯联邦储蓄银行（Sberbank）人工智能技术开发总监谢尔盖·马尔科夫（Sergei Markov）表示，基本的LLM解码器变压器堆栈已经非常接近这种状态，甚至已经在这个阶段了，在谷歌的推动下，它设定了近十年来语言模型发展的主要趋势。但前段时间，其他“头脑发热”严肃地说，这几乎是通向强人工智能（AGI）的主要途径——剩下的就是“添加一点计算和一点数据”。
谈到当今法学硕士的问题，马尔可夫首先强调了计算复杂性的二次增加，具体取决于处理元素（令牌）的数量。 “一旦自注意力机制需要处理很长的序列，事情就不会顺利。这通常不适用于文本问题，但在处理多媒体内容或程序代码时可能会造成严重的困难，”他指出。
与此同时，代币化本身仍然是变革性 LLM 架构的基石 - Nvidia 首席执行官黄仁勋 (Jensen Huang) 最近将代币描述为 AI 时代的新货币并非没有道理。尽管一些作者建议放弃它们（例如，支持更高抽象级别的计算元素），但令牌仍然被认为是高效信息处理、简化和加速上下文分析和模型响应生成的主要工具。 “我们需要标记化，因为我们有很长的上下文。将进入变压器输入的元素数量减少五倍是非常有价值的，”马尔科夫解释道。
法学硕士的发展方向