详细内容或原文请订阅后点击阅览
评估代码生成LLMS中的长距离依赖性处理
随着语言模型支持越来越大的上下文大小，评估其使其有效使用该上下文的能力变得越来越重要。我们分析了Several Code生成模型在上下文Windows中使用多个STEPKEY检索任务处理远距离依赖性的能力，最高为8K令牌。与喜欢流行的海景测试的测试相比，这些任务在难度方面逐渐降低，并允许对模型功能进行更多细微的评估。我们发现，当功能…
来源:Apple机器学习研究*所有列出的作者都对此作品进行了同样的贡献，即核心处理上下文对于任何对话 - 理解任务都是必不可少的。此上下文可能是对话的（依赖于先前的用户查询或系统响应），视觉（例如，依赖用户在屏幕上看到的内容）或背景（基于诸如铃声警报或播放音乐之类的信号）。在这项工作中，我们介绍了MARRS或多模式参考的概述…
阅读更多