欧盟自 2019 年以来一直在实施其数据战略。1 面向工业的数据单一市场的一个关键组成部分是建立“可互操作的数据空间”以“汇集关键行业的欧洲数据”,在这个市场中“数据可以在欧盟内部和跨行业流动,造福所有人”、“欧洲规则 […] 得到充分尊重”并且“数据访问和使用规则公平、实用和明确”。欧盟委员会(2022 年)描述了一个初步的、相当粗略的概念,包括如何建立和运营这些数据空间,包括相关立法(另见 Nagel 和 Lycklama,2021 年)。该文件还列出了一些针对制造业、交通、医疗、金融、能源、农业和技能等行业的“官方”欧盟数据空间。由数字欧洲计划 (DEP) 2 中的采购合同资助的欧洲通用语言数据空间 (LDS) 就是这些官方欧盟数据空间之一。 3
自主驾驶是一项复杂而具有挑战性的任务,旨在通过场景和推理来实现安全的运动计划。最近,通过增强的场景理解,几个关键问题,包括缺乏推理,低概括性能和长尾场景,但仍需要戴着几个关键问题,但仍需要进行一些关键问题。在本文中,我们提出了VLP,这是一个新颖的视力 - 语言规划框架,利用语言模式来弥合语言理解与自动驾驶之间的差距。VLP通过加强源内存基础和自动驾驶汽车的上下文理解来增强自主驾驶系统。vlp通过与先前的最佳方法相比,分别在平均L2错误和碰撞率方面,分别在平均L2错误和碰撞率方面实现了35.9%和60.5%的端到端规划表演。此外,在面对新的城市环境时,VLP在挑战性的长尾方案和强大的概括能力方面表现出改善的性能。
直到最近,研究人员主要对阅读中的人类行为数据感兴趣,以了解人类认知。然而,这些人类语言处理信号也可以用于基于机器学习的自然语言处理任务。目前,将脑电图大脑活动用于此目的的研究还很大程度上尚未得到探索。在本文中,我们首次进行了大规模研究,系统地分析了脑电图大脑活动数据在改进自然语言处理任务方面的潜力,特别关注了信号的哪些特征最有益。我们提出了一种多模态机器学习架构,它可以从文本输入和脑电图特征中联合学习。我们发现将脑电图信号过滤到频带中比使用宽带信号更有益。此外,对于一系列词嵌入类型,脑电图数据可以改进二元和三元情绪分类,并且优于多个基线。对于关系检测等更复杂的任务,在我们的实验中,只有情境化的 BERT 嵌入优于基线,这提出了进一步研究的需要。最后,当训练数据有限时,EEG 数据显示出特别有前景。
抽象的语法校正校正(GEC)工具,由先进的生成人工智能(AI)提供动力,在用户输入中有效地纠正了语言的不准确性。但是,它们通常在提供基本的自然语言解释方面缺乏,这些解释是学习语言并获得对语法规则的更深入的理解。在低资源语言(例如孟加拉语)中对这些工具的探索有限。在这样的语言中,革命错误说明(GEE)系统不仅应正确句子,而且还应提供错误的解释。这种综合方法可以帮助语言学习者寻求提高能力。我们的工作介绍了一个现实世界中的多域数据集,该数据集来自孟加拉语扬声器,具有不同的义务水平和语言复杂性。此数据集可作为GEE系统的评估基准标记,允许他们使用上下文信息来生成有意义的解释和高质量的更正。Various generative pre-trained large language models (LLMs), in- cluding GPT-4 Turbo, GPT-3.5 Turbo, Text-davinci-003, Text-babbage- 001, Text-curie-001, Text-ada-001, Llama-2-7b, Llama-2-13b, and Llama-2-70b, are assessed against human experts for performance comparison.我们的研究强调了自动部署孟加拉人GEE的当前最新生成预培训的LLM的局限性。主张进行人干预,我们的发现提议合并手动检查以解决语法错误并提高反馈质量。这种方法提出了一种更合适的策略,以重新确定孟加拉语的GEC工具,并阐明了语言学习的教育方面。
幻觉是对多模态大语言模型(MLLM)的普遍挑战的幻觉,极大地阻碍了他们需要精确判断的真实用法。现有方法可以通过特定设计的数据进行培训,或通过其他来源的特定知识来缓解此问题,从而产生了不可避免的额外费用。在本文中,我们提出了一种新型的MLLM解码方法,该方法基于o-vertust pe nalty和r eTroptoction-llocation策略,它是一种几乎免费的午餐,可以减轻幻觉问题,并没有其他数据,知识,知识或培训。我们的方法始于一个有趣的观察结果,即,大多数幻觉与自我注意力矩阵所表现出的知识聚集作用紧密相关,即MLLM倾向于通过关注一些摘要的代价来产生新的代币,但并非所有以前的代币。这种部分过度信任的倾向会导致忽略图像令牌,并用幻觉描述图像内容。基于观察结果,Opera在梁搜索解码过程中引入了对模型逻辑的惩罚术语,以使Miti-Gate the Trust问题以及回滚策略回顾了在预先生成的令牌中存在摘要令牌的存在,并在必要必要时重新分配给标记。通过广泛的实验,Opera在不同的MLLM和指标上表现出明显的幻觉降低性能,证明其有效性和性质。我们的代码为:https://github.com/shikiw/opera。
视觉 - 语言变压器(VLT)最近显示出巨大的成功,但同时伴随着大量的计算成本,其中主要原因可以归因于大量的视觉和语言令牌。存在用于压缩VLTS的令牌修剪研究主要遵循基于单模式的方案,但忽略了对齐不同模态来指导令牌修剪过程的关键作用,从而导致重要的代币在另一个模态分支中错误地修剪一个模态。同时,现有的VLT修剪作品也缺乏基于不同输入样本动态压缩每一层的灵活性。为此,我们提出了一个名为M Ultodal的新颖框架,用于加速变化VLT的木质制成d ynamic t ynamic t oken p Runing(MADTP)。具体来说,我们首先引入了精心设计的多模式对齐指导(MAG)模块,该模块可以使相同语义概念的特征与不同的模式相结合,以确保修剪的代币对所有模式都不太重要。我们进一步设计了一种新型的dy-namic令牌修剪(DTP)模块,该模块可以根据不同的输入实例自适应地调节每个层中的令牌压缩比。对各种基准测试的广泛实验表明,MADTP可以显着确定多种模型的计算复杂性,同时保留竞争性能。值得注意的是,当将MADTP应用于NLVR2数据集中的BLIP模型时,可以将GFLOPS降低80%,而性能降低少于4%。该代码可在https://github.com/double125/madtp上找到。
Robert D. Fish(R.Fish@imperial.ac.uk)隶属于杜勒尔保护与生态研究所,位于肯特大学,英国坎特伯雷,英国坎特伯雷和英国伦敦帝国学院的环境政策中心,在英国伦敦,英国,英国伦敦。 Gail E. Austen,Jacob W. Bentley,Jessica C. Fisher,Phoebe R. Bentley和Zoe G. Davies(Z.G.Davies@kent.ac.uk)隶属于迪尔雷尔保护与生态研究所,位于肯特大学,位于肯特大学,位于肯特大学的英国坎特伯里大学,在英国,英国,英国国王。 马丁·达利默(Martin Dallimer)隶属于可持续发展研究所,地球与环境学院,利兹大学,英国利兹大学,英国,英国和环境政策中心,伦敦帝国学院,英国伦敦伦敦帝国学院。 Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会,经济和地理科学系。 Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所,英国坎特伯雷,英国坎特伯雷,挪威奥斯陆的挪威水研究所。Robert D. Fish(R.Fish@imperial.ac.uk)隶属于杜勒尔保护与生态研究所,位于肯特大学,英国坎特伯雷,英国坎特伯雷和英国伦敦帝国学院的环境政策中心,在英国伦敦,英国,英国伦敦。Gail E. Austen,Jacob W. Bentley,Jessica C. Fisher,Phoebe R. Bentley和Zoe G. Davies(Z.G.Davies@kent.ac.uk)隶属于迪尔雷尔保护与生态研究所,位于肯特大学,位于肯特大学,位于肯特大学的英国坎特伯里大学,在英国,英国,英国国王。马丁·达利默(Martin Dallimer)隶属于可持续发展研究所,地球与环境学院,利兹大学,英国利兹大学,英国,英国和环境政策中心,伦敦帝国学院,英国伦敦伦敦帝国学院。Katherine N. Irvine隶属于英国苏格兰阿伯丁市詹姆斯·赫顿学院的社会,经济和地理科学系。Maximilian Nawrath隶属于肯特大学的杜雷尔保护与生态研究所,英国坎特伯雷,英国坎特伯雷,挪威奥斯陆的挪威水研究所。