在迅速发展的人工智能领域(AI)中的摘要,自然语言处理中大型语言模型(LLM)的前所未有的进步(NLP)提供了一个机会,可以重新审视形式和内容的机器智能传统指标的整个方法。由于机器认知评估的领域已经达到了模仿,因此下一步是有效的语言获取和理解。我们的论文提出了从既定的图灵测试转变为借助语言获取的全构图框架的范式转变,并从LLMS最近的进步中汲取了灵感。目前的贡献是对各个学科的出色工作的深刻贡献,指出需要保持跨学科的桥梁开放,并描述一种更健壮和可持续的方法。引言过去十年在人工智能的发展中见证了一个显着的加速,尤其是在自然语言处理领域。开创性的体系结构,例如Word2Vec(Mikolov等人2013)已经突破了我们以前认为可行的界限,诞生了可以用语言与人类无缝互动的先进的AI系统(Sejnowski,2023)。这些系统,包括从语音激活的虚拟助手到高度精确的翻译工具的应用程序,代表LLM的功率的收敛以及数据驱动和动态的系统理论的当前数字时代的景观(Brunton等人。2022)。2023)和未来职业(Tolan等人2021)。2012)。他们发掘和预测人类交流中错综复杂的模式的能力已经看到了我们与机器的互动的范式转移,因此必须将评估成为我们生活中必不可少的一部分(Sohail等人。自1950年艾伦·图灵(Alan Turing)于1950年成立以来,图灵测试一直是机器智能发展的标准(Turing,1950年)。然而,2014年勒布纳奖的公告声称该奖首次超过了图灵测试,这引发了有关该测试适当性的辩论(Shieber,2016年)。它引发了关于该测试是否确实评估机器智能还是仅仅是其模拟人类样子的能力的争议(Hoffmann,2022)。辩论的症结在于一个问题:机器是否能够理解人类语言,还是它的熟练程度仅反映了其模仿人类反应的程序能力?随着AI进步的当前轨迹,将这种对话从模仿转变为理解的时候已经成熟了(Cambria&White,2014年)。本文的目的是根据当前的21世纪需求,为一般讨论提供了更新的多方面贡献,并解决了非常具体的范式转变。The AI roadmap requires an adequate assessment system of Efficient Language Acquisition and Understanding Capabilities in Intelligent Machines (Agüera y Arcas, 2022), because such instrument will allow to systematically retrieve evidence to better answer the next questions on the landscape (Adams et al.文章的其余结构如下:我们从该主题中的许多学术工作中揭示了一项选择,这是当前工作的基础,然后继续进行 - 毫无障碍但非常相关的提及最近的研究,该研究涉及从非凡的不同角度和范围中进行“新的图灵测试”的需求。在下一部分中说明了框架,定义了测试设计要求,并提出了构建良好指标的过程。列出了其他未来挑战,最后在讨论中,我们以综合和建筑设想得出结论。为了消除所使用的术语的操作含义,提供了词汇表和补充材料。
主要关键词