摘要本文介绍了一项关于以中间法语编写的16世纪文档自动归一化的研究。这些文档提出了各种各样的单词形式,这些单词形式需要拼写归一化以促进下游语言和历史研究。我们将归一化过程作为机器翻译任务开始,从强大的基线开始利用预训练的编码器– DECODER模型。我们建议通过结合合成数据生成方法和生成人工培训数据来改善这一基线,从而解决与我们任务相关的平行语料库。对我们的方法的评估是双重的,除了依靠黄金参考的自动指标外,我们还通过其产出后评估我们的模型。这种评估方法直接测量了我们的模型给手动进行标准化任务的专家带来的生产力增长。结果表明,与从头开始使用自动归一化相比,使用自动归一化时,生产率每分钟增加了20多个令牌。由我们的研究产生的手动编辑的数据集是将公开发布的第一个正常化的16世纪中部法国人的平行语料库,以及合成数据以及在介绍的工作中使用和培训的自动归一化模型。
摘要 - 将神经梯度体系结构(NGA)集成到大语言模型(LLMS)中,导致了自然语言处理的明显进步,从而增强了生成文本的精确性和相干性。通过采用梯度驱动的计算,NGA根据上下文提示动态调整内部途径,从而使LLMS能够更有效地适应各种语言任务。这种方法证明了在上下文理解至关重要的情况下,诸如机器翻译,摘要和对话生成等任务的改进。NGA的融合也有助于减少常见问题(例如重复性或无关的产出),从而提高了生成内容的总体质量。此外,NGA的适应性允许在各个领域对LLM进行更有效的微调,从而促进了其在专业领域的应用,而无需大量的重新培训。经验结果表明,NGA在完善LLM的生成过程中的功效,强调了其大大提高自然语言处理系统性能的潜力。因此,NGA的采用代表了LLM体系结构演变中的关键进展,为开发更响应敏感和上下文意识到的语言模型提供了强大的框架。
摘要 人工智能 (AI) 和数字公共基础设施 (DPI) 是两项在全球政策讨论中占据中心地位的技术发展。然而,迄今为止,关于 AI 和 DPI 如何相互提升彼此提供的公共价值的讨论相对较少。因此,在本文中,我们描述了 AI 和 DPI 可以相互作用以互利共赢的机遇和挑战。首先,我们定义 AI 和 DPI,以提供清晰度并帮助政策制定者区分这两项技术发展。其次,我们提供了实证证据,说明 AI(一种通用技术)如何集成到许多 DPI 系统中,帮助 DPI 在诸如通过机器翻译 (MT) 进行语言本地化、通过推荐系统提供个性化服务等用例中发挥作用。第三,我们列举了 DPI 如何通过提高可用训练数据的数量和质量来充当创建更高级 AI 系统的“基础”。第四,我们讨论了集成 AI 和 DPI 的挑战,包括高级 AI 模型的高推理成本、与传统软件的互操作性挑战、对 AI 系统中诱导偏差的担忧以及与 DPI 相关的隐私挑战。我们最后得出了关于政策制定者如何努力增强人工智能和 DPI 的积极互动的关键要点。
本文介绍了 Netmarble 提交的针对英语-德语语言对的 WMT21 自动后期编辑 (APE) 共享任务。首先,我们提出了一种训练阶段的课程训练策略。Facebook Fair 的 WMT19 新闻翻译模型被选中来参与大型且强大的预训练神经网络。然后,我们在每个训练阶段使用不同级别的数据对翻译模型进行后训练。随着训练阶段的进行,我们通过在不同训练阶段逐渐添加额外信息,让系统学会解决多项任务。我们还展示了一种将大量额外数据用于 APE 任务的方法。为了进一步改进,我们在微调阶段应用了动态加权平均的多任务学习策略。为了使用有限的数据对 APE 语料库进行微调,我们添加了一些相关的子任务来学习统一的表示。最后,为了获得更好的性能,我们在后训练和微调期间利用外部翻译作为增强机器翻译 (MT)。实验结果表明,我们的 APE 系统在开发数据集上显著提高了所提供的 MT 结果的翻译,TER 和 BLEU 分别提高了 -2.848 和 +3.74。它还证明了其在测试数据集上的有效性,质量高于开发数据集。
近年来,由于各个学科的在线文本大量产生,机器翻译系统的重要性日益增加。事实证明,传统的翻译方法不足以满足全球翻译需求。虽然翻译工具在处理不同学科和文本类型方面非常出色,但它们的可用性和可靠性面临相当大的争议,尤其是应用于文学文本时。因此,本研究旨在探索人工智能 (AI) 翻译工具(例如 ChatGPT)对文学文本翻译和回译的影响。该研究采用定性方法中的实验模型,以翻译测试为主要研究工具。伊玛目穆罕默德伊本沙特伊斯兰大学 (IMSIU) 的 80 名英语专业学生被随机抽取并分成四组:两个对照组和两个实验组。要求学生翻译和回译一篇英文短篇小说,并通过各种比较对测试中的定性数据进行了分析。对于统计分析,采用独立样本 t 检验来比较两个独立组。研究结果显示,使用人工智能工具的学生能够比使用传统方法的学生提供更好的翻译和回译,回译的表现略好。
摘要 — 多年来,了解大脑机制一直是许多不同领域的重大研究课题。脑信号处理,尤其是脑电图 (EEG) 近年来引起了学术界和工业界的日益浓厚兴趣。其中一个主要例子是旨在连接大脑和计算机的脑机接口 (BCI) 数量的不断增加。在本文中,我们提出了一个新颖的框架,使我们能够从 EEG 信号中检索注意力状态,即对特定任务的关注程度。以前的方法通常通过电极考虑 EEG 中的空间关系,并在基于循环或卷积的架构中对其进行处理,而我们在此建议还利用基于变压器的网络来利用空间和时间信息,该网络已经在许多机器学习 (ML) 相关研究(例如机器翻译)中显示出其优势。除了这种新颖的架构之外,还对特征提取方法、频带和时间窗口长度进行了广泛的研究。所提出的网络已在两个公共数据集上进行了训练和验证,与最先进的模型相比取得了更高的结果。除了提出更好的结果外,该框架还可以用于实际应用,例如注意力缺陷多动障碍 (ADHD) 症状或驾驶评估期间的警惕性。
人工智能中有许多研究领域已经为公众提供了实际应用。自然语言处理 (NLP) 是人工智能的一个子集,它构建了用于分析和建模人类文本的计算工具,例如机器翻译、摘要和问答。NLP 在我们的日常实用工具中占有重要地位,包括电子邮件过滤器、搜索结果和预测文本。机器视觉是人工智能的另一个子集,旨在模拟人类智能的视觉感知部分。通过结合硬件和软件工具,机器视觉旨在分析图像并为人类指导提供预测见解。机器视觉的一个流行应用是自动驾驶汽车:自动驾驶汽车使用多个摄像头、激光雷达、雷达和超声波传感器来处理汽车周围的视野,以便做出驾驶决策。机器视觉的另一个主要应用是医疗保健。从生物医学图像分析到手术指导,机器视觉使医疗保健提供者能够更早地发现疾病并制定预防措施以优化健康结果。与机器视觉重叠的人工智能的一个子集是机器人技术。虽然我们认为机器人技术领域涵盖了像索菲亚这样的人形机器人,但机器人领域中还有许多其他子领域。例如
语言障碍已经挑战了人类的交流数百年来,推动了对有效翻译解决方案桥梁语言鸿沟的持久追求。随着时间的流逝,已经出现了各种方法来解决语言差异的复杂性,从而使跨文化的流体相互作用更多。在当今相互联系的世界中,关键信息和信息通常以各种官方语言传达,具体取决于国家。这种多样性在丰富的同时,可能会阻碍旅行者和专业人士,他们可能很难理解和行动重要的信息,而无需熟练当地语言。传统工具,例如口袋字典和在线翻译服务,提供了一些支持,但通常缺乏实时响应能力和上下文敏感精度所需的细微理解。随着全球化的增长,对高质量,实时翻译的需求变得更加紧迫。这个项目,具有自适应增强学习的实时语言翻译器,介绍了一个突破性解决方案:一个基于Web的应用程序,将实时翻译功能与增强学习结合在一起,以根据用户反馈来提高翻译质量。使用简洁的交互式界面构建,该应用程序利用Google翻译API进行准确的语言翻译,同时实现了Q学习算法,该算法会随着时间的推移适应并增强其性能。通过此系统,用户可以选择源和目标语言,输入文本进行翻译,并接收即时,高质量的翻译输出。机器翻译(MT)是将文本从一种语言转换为另一种语言的过程,随着深度学习模型(例如sequence-tosequence(SEQ2SEQ)和Transformer模型)的进步,已经显着发展。及其编码器模型的Seq2Seq模型将输入句子转换为生成目标语言翻译的上下文向量。与此同时,在“注意就是您需要的全部”中引入的变压器模型(Vaswani等,2017),使用自我注意的机制来指出相关的句子组件,从而大大提高了翻译质量。在此项目中,增强学习(RL)用于通过创建一个自适应反馈循环来增强MT过程,该反馈环将转换为用户需求量。转换模型在此设置中充当“代理”,根据用户评分做出翻译决策并接收反馈或“奖励”。通过QLearning算法处理的此反馈使该模型能够更新其策略,并完善未来翻译以最大程度地提高用户满意度。随着用户的审查和评估翻译,系统将学习输出的输出最佳的用户满意度,个性化体验并随着时间的推移提高整体准确性。这种高级机器翻译和自适应学习的独特混合物不仅增强了翻译质量,而且还创建了一个以用户为中心的工具,该工具对个人偏好有反应,提供了一种无缝,直观的体验。通过MT和RL的这种创新融合,该项目旨在重新定义跨语言交流,创建智能的自适应翻译系统,从而弥合语言差距并增强全球互动。
在过去十年中,对翻译和口译过程的认知和心理语言学方法的贡献不断增加。Muñoz (2014) 对这一领域进展的回顾主要集中在七个虽有重叠但主题或研究领域:能力和专业知识、心理负荷和语言复杂性、研究方法的进展、写作、修改和元认知、重新语境化的研究,以及超越意识和理性思维的认知。在这些主题中,根据 Muñoz (2012) 的说法,心理负荷是翻译过程研究“至关重要的一个概念”(第 172 页),它可能有助于我们解开意识、问题解决、自动化和专业知识之间的复杂关系;它也可能建立翻译和口译研究之间的桥梁。说心理负荷始终是翻译过程研究的综合观点的核心可能有些夸张。尽管如此,它仍然值得关注和强调。本文首先澄清概念问题,并回顾难度、心理工作量、认知负荷和其他相关术语、它们的历史和理论。在认知科学的框架下,本文随后回顾了两条研究路线,即人工翻译的难度和机器翻译的后期编辑 (PE)。本文介绍了并批判性地审查了有关衡量难度的方法的研究。正如作者已经讨论过的衡量人工翻译难度的方法
生成技术是一种亚符号无监督的机器学习算法,由于它们令人印象深刻的能力,它们可以通过处理该信息来对其进行分类或解释,还可以生成适合给定任务的新数据,因此最近引起了很多关注。一般概念已经存在了几年,最初是由Google研究人员描述的[1]。最初是为文本机器翻译域而设计的,所谓的变压器模型遵循以源语言学习给定文本序列的上下文的想法,并将其映射到目标语言。由于模型接受了大量培训数据的培训,因此它们被称为大型语言模型或简称LLM。公司的研究人员Openai建立在最初的想法上。他们开发了生成验证的变压器(GPT)[2],最后,通过聊天界面的gpt3模型[3]发布将LLMS带入了广泛的用户社区的意识。从那时起,Evolutions导致了OpenAI的当前版本GPT-4。类似的模型用于其他数据类型,例如图像,视频和声音[4]。同时,几个应用程序将功能作为帮助将功能集成到现有工具中(例如搜索引擎,例如Microsoft Bing或照片编辑软件,例如Adobe Firefly)。该方法的更高级应用已经出现,例如视觉语言 - 动作模型(VLA模型),它们使用聚合的变压器模型来链条提示并模拟复杂机器人的推理[5]。