顶级AI模型在长文档中丢失了

来自LMU慕尼黑的研究人员,慕尼黑机器学习中心和Adobe Research的一项新研究已经暴露了AI语言模型的弱点:他们努力以可能使您感到惊讶的方式理解长文件。研究团队的发现表明,即使是最先进的AI模型,当他们[…]邮政最高的AI模型在长期文档中丢失时,他们也很难连接信息。

来源:Unite.AI

来自LMU慕尼黑的研究人员,慕尼黑机器学习中心和Adobe Research的一项新研究已经暴露了AI语言模型的弱点:他们努力以可能使您感到惊讶的方式理解长文件。研究团队的发现表明,即使最先进的AI模型也无法依赖简单的单词匹配,因此在连接信息时也很难连接信息。

a 新研究 新研究 来自LMU慕尼黑的研究人员,慕尼黑机器学习中心和Adobe Research在 AI语言模型 AI语言模型 :他们很难以可能使您感到惊讶的方式理解长文件。研究团队的发现表明,即使最先进的AI模型也无法依赖简单的单词匹配,因此在连接信息时也很难连接信息。

AI的阅读技能的隐藏问题

AI的阅读技能的隐藏问题

图片试图在长期研究论文中找到特定细节。您可能会浏览它,在不同部分之间建立心理联系,以将所需信息拼凑在一起。事实证明,许多AI模型根本无法使用。取而代之的是,他们通常很大程度上依赖于查找确切的单词匹配,类似于在计算机上使用CTRL+F。

图片试图在长期研究论文中找到特定细节。您可能会浏览它,在不同部分之间建立心理联系,以将所需信息拼凑在一起。事实证明,许多AI模型根本无法使用。取而代之的是,他们通常很大程度上依赖于查找确切的单词匹配,类似于在计算机上使用CTRL+F。 研究团队开发了一个名为Nolima(无字面匹配)的新基准测试,以测试各种AI模型。结果表明,当AI模型处理超过2,000个单词的文本时,其性能会大大下降。当他们达到32,000个单词时(大约是一本短书的长度),大多数模型的表现为一半。这包括对 GPT-4O GPT-4O 双子座1.5 Pro