五十多年来,冯·诺依曼体系结构的灵活性(其中来自离散内存单元的数据作为操作和操作数到达专用计算单元)推动了系统性能的指数级提升。这些计算系统需要在执行计算任务期间高速来回传送大量数据。但是,随着设备缩放因功率和电压考虑而放缓,在内存和计算单元之间所谓的“冯·诺依曼瓶颈”上传输数据所花费的时间和能量已成为问题。这些性能瓶颈和明显的面积/功率效率低下对于以数据为中心的应用尤其不可避免,例如实时图像识别和自然语言处理,其中最先进的冯·诺依曼系统努力匹配普通人的表现。我们正处于人工智能 (AI) 和认知计算革命的风口浪尖,算法的进步使得深度神经网络 (DNN) 在模式识别、游戏、机器翻译等许多任务上接近甚至超越人类的表现。
机器翻译的内容 ^放电条款雪佛龙对在非产品的描述中使用该产品造成的任何损失或损害概不负责。根据安全数据表(MSDS)的建议,预计基于可用信息的健康,安全,存储和环境信息不会导致该产品的健康危害。安全数据表可应当地销售办公室或我们网站上的要求提供。该产品不可用来无报告用途。丢弃二手产品对环境友好的友好,并符合当地法规。始终确保所选产品适合原始设备制造商的建议,机器的操作条件和客户维护习惯。此内容最初以英语发表。本文只是一个翻译,雪佛龙对本翻译中的任何错误或缺陷概不负责。人字形对此翻译的覆盖范围,准确性或可靠性也不负责。如果此翻译与英语的官方版本之间存在冲突或差异,则英语版将保持生效。
Sara Noeman 是 IBM 埃及的数据科学家和认知架构师 - 隶属于 Watson 和云平台部门。她于 2005 年加入 IBM 研发团队,在为机器翻译、多种自然语言处理和信息提取应用(如拼写纠正、情绪分析、使用机器学习方法)提供成功解决方案方面做出了巨大贡献。Sara 的工作重点是应用研究,为具有挑战性的现实问题提供创新和实用的解决方案。自 2015 年以来,Sara 一直是 Watson 集团的一员,她领导了 Watson Explorer 和 Watson Oncology 等多种 Watson 产品和云服务中阿拉伯语 NLP 支持的验证。她是海湾地区使用 Watson 服务的关键项目的主要贡献者。她的贡献包括情绪分析、电信和政府部门的人口统计和行为分析、构建聊天机器人以及人工智能领域的许多其他领域。
使用 64 个高级图形处理单元 (GPU) 进行 79 小时的训练,大约排放 1,438 磅二氧化碳 (CO 2 ),这些芯片因其出色的并行处理能力而常用于训练 AI 模型。为了说明这一点,从纽约到旧金山的往返航班每位乘客大约产生 2,000 磅二氧化碳排放量。研究人员还估算了训练神经架构搜索 (NAS) AI 模型的碳排放量,神经架构搜索是一种为给定任务自动查找一个或多个神经网络架构的技术,这是机器学习中计算最复杂的问题之一。具体来说,他们评估了用于创建更好的英语-德语机器翻译模型的 NAS 的能耗。11 研究人员估计,训练该模型产生了 626,155 磅二氧化碳排放量(大约相当于从东海岸到西海岸的 300 次往返航班)。12
蓬勃发展的人工智能 (AI) 为教育领域的人工智能提供了肥沃的土壤。到目前为止,很少有评论探讨人工智能如何赋能英语作为外语 (EFL) 的教学和学习。本研究试图通过总结和描述人工智能应用的六种主要形式,包括自动评估系统、神经机器翻译工具、智能辅导系统 (ITS)、人工智能聊天机器人、智能虚拟环境和 ITS 中的情感计算 (AC),对 EFL 环境中的人工智能进行简要而深刻的概述。此外,本评论还发现,目前在 EFL 环境中应用 AC 以及探索人工智能在 EFL 环境中的教学和伦理影响方面的研究很少。最后,本文阐明了技术和教师角度的挑战以及未来的研究方向,希望为未来的研究提供新的见解。
主要的序列传导模型基于复杂的循环或卷积神经网络,包括编码器和解码器。性能最佳的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构 Transformer,它完全基于注意力机制,完全省去了循环和卷积。在两个机器翻译任务上的实验表明,这些模型质量优越,同时可并行性更高,并且训练时间显著减少。我们的模型在 WMT 2014 英语到德语翻译任务中获得了 28.4 BLEU,比现有最佳结果(包括集成)提高了 2 BLEU 以上。在 WMT 2014 英语到法语翻译任务中,我们的模型在八个 GPU 上训练 3.5 天后,建立了新的单模型最新 BLEU 分数 41.0,这仅仅是文献中最佳模型训练成本的一小部分。
Gregory Crane Tufts大学,我们经常在语言研究中面临二分法:专注于一些用于精通和比较文学的语言,失去全球影响力或强调世界文学的广度,依赖翻译者。混合计算机人类系统提供了一条新路径。语言学家长期以来使用丰富的语言注释来使用未知的语言,但是这些注释是劳动密集型,有限且静态的。三代技术改变了这种情况。首先,可使用人和机器生成的引文网络的可嵌入文本的可嵌入文本。第二,机器学习的进步允许分析复杂的语言方面,例如语法和语义。第三大语言模型不仅为服务不足的语言提供了传统的机器翻译,还可以回答有关语言和文化背景的问题。这种不断发展的技术改变了我们与人类记录的互动,在理解和利用语言方面提供了新的挑战和机会。
语义解析的最新进展几乎不考虑英语以外的其他语言,但专业翻译的速度可能非常昂贵。我们将接受单一语言训练的语义解析器(例如英语)调整为新的语言和多个域,并具有最小的注释。我们查询机器翻译是否足以替代培训数据,并将其扩展到使用英语,释义和多语言预培训模型的联合培训来调查引导。我们通过在多个编码器上的注意力并提出了ATIS的新版本,并在德语和中文中介绍了新版本,从而开发了一个基于变压器的解析器,将副本酶结合在一起。实验结果表明,MT可以在新的语言中近似训练数据,以便通过多个MT engines进行释义时进行准确解析。考虑到MT何时不足,我们还发现,使用我们的方法仅使用50%的培训数据才能在完全转移的2%内实现解析精度。1
该研究包括五个封闭的模型(OpenAI的GPT 3.5和4,Google的Gemini 1.5 Pro,Yandexgpt 2和3)和两个开放型模型(Meta的Llama 2和Aya,是Cohere的大型多语言模型)。实验是在与不同任务相对应的六个数据集上进行的 - 问题回答,因果推理,中学数学问题,机器翻译和拼写校正。三个数据集是专门为这项研究准备的。正如预期的那样,哈萨克(Hazakh)任务上LLM的质量低于平行英语任务。GPT-4显示出最佳的结果,其次是双子座和AYA。通常,LLM在分类任务上的表现更好,例如回答多项选择问题,并与语言生成任务(例如拼写校正)斗争。因此,在线翻译服务(例如Google Translate)仍然是在哈萨克语和英语以及哈萨克语和俄罗斯之间翻译的更可靠的选择。我们预计更多了解哈萨克的LLM的出现,评估的方法和数据集变得至关重要。