然而,十年后,由于计算机科学研究的进步和摩尔定律,人工智能重新兴起。根据 Investopedia 的说法,摩尔定律“意味着随着集成电路上的晶体管效率的提高,计算机、在计算机上运行的机器和计算能力都会随着时间的推移变得更小、更快、更便宜”(Tardi 2021)。³ 简而言之,学者们可以预期计算机的速度和能力会随着时间的推移而提高。此外,Yann LeCun 和 Jürgen Schmidhuber 等关键研究人员开发了深度学习等先进算法,推动了 21 世纪人工智能的持续进步。⁴ Mathworks 将深度学习描述为“一种机器学习技术,它教计算机做人类自然而然的事情:通过示例学习”(“什么是深度学习?” 2019)。深度学习
人工智能 (AI) 有着数十年的悠久传统。1956 年,麦卡锡在达特茅斯会议上首次提出了“人工智能”这个名称,从此开启了这一研究领域的热潮,并一直延续至今 (McCarthy et al., 2006)。人工智能最初的重点是符号模型和推理,随后出现了第一波神经网络 (NN) 和专家系统 (ES) 的浪潮 (Rosenblatt, 1957; Newel and Simon, 1976; Crevier, 1993)。当明斯基和帕普特 (Minsky and Papert, 1969) 证明感知器在学习非线性可分函数(例如异或 (XOR))时存在问题时,该领域遭受了严重挫折。这极大地影响了人工智能在随后几年的发展,尤其是在神经网络领域。然而,在 20 世纪 80 年代,神经网络通过反向传播算法的发明而卷土重来(Rumelhart 等人,1986 年)。后来在 20 世纪 90 年代,关于智能代理的研究引起了广泛的兴趣(Wooldridge 和 Jennings,1995 年),例如探索感知和行为的耦合效应(Wolpert 和 Kawato,1998 年;Emmert-Streib,2003 年)。最后,在 21 世纪初,大数据的出现,导致了神经网络以深度神经网络 (DNN) 的形式再次复兴(Hochreiter 和 Schmidhuber,1997 年;Hinton 等人,2006 年;O'Leary,2013 年;LeCun 等人,2015 年)。这些年来,人工智能在机器人、语音识别、面部识别、医疗保健和金融等许多领域取得了巨大成功(Bahrammirzaee,2010;Brooks,1991;Krizhevsky 等人,2012;Hochreiter 和 Schmidhuber,1997;Thrun,2002;Yu 等人,2018)。重要的是,这些问题并不都属于一个领域,例如计算机科学,而是涉及心理学、神经科学、经济学和医学等多个学科。鉴于人工智能应用的广泛性和所用方法的多样性,毫不奇怪,看似
未来框架合成(FFS)任务的目标是根据历史框架的顺序生成未来框架(Srivastava等,2015)或仅具有单个上下文框架(Xue等,2016),具有或没有其他控制信号。该FFS的学习目标也被认为是建立世界模型的关键(Ha&Schmidhuber,2018; Hafner等,2023b)。ffs与低级计算机视觉处理技术密切相关,尤其是在近框架附近合成时(Liu等,2017; Wu等,2022b; Hu等,2023b)。但是,FFS通过隐式要求对场景动态和时间连贯性有更复杂的理解,与其他低级任务分歧,这通常是高级视觉任务的特征。挑战在于设计模型可以实现这种余额,使用中等数量的参数来最大程度地减少推理延迟和资源消耗,从而使FFS适用于现实世界中的应用程序。FFS的这种独特位置表明了其在计算机视觉中低水平感知与预测与高级理解和发电之间差距之间的差距中不可或缺的作用。
标题检测和目录生成是文档结构分析这个更大问题的重要组成部分。了解文档的固有布局和结构有利于从文档中执行几个下游文档 AI 任务,例如搜索、摘要、实体提取和表格检测等。人类浏览文档并理解文档结构,包括标题与非标题以及标题的整体层次结构。这可以归因于许多原因,例如文档的顺序性、几何特征或句子的语义。我们试图将这些基本的人类本能融入我们的模型中。人类对文档的结构有直观的概念,阅读文本块后会确认这一假设。迁移学习可用于对一般文档的结构属性进行建模。我们使用开放域中可用的 Arxiv 文档 1 来学习一般文档的结构模型。使用 LSTM(Hochreiter 和 Schmidhuber,1997)在特定领域文档的标题级别学习语义属性。最终模型在特定领域的数据集上进行训练,结构权重由 Arxiv 文档预先训练。通过将迁移学习应用于标题检测任务,我们看到了显著的改进。将基于手动特征的深度神经网络和字符 CNN(Zhang 等人,2015)结合到开头的八个字符上,有助于我们为一般文档的结构特征建模。
1.人工智能技术的兴起及其在数字平台中的应用 早在移动平台争夺战爆发之前,许多数字平台公司就已经在其内部业务流程或客户服务中使用机器学习算法。iPhone AppStore 于 2008 年中期推出(Ghazawneh & Henfridsson,2013 年)。微软于 2003 年推出了基于机器学习的垃圾邮件过滤功能(Buderi,2005 年)。eBay 至少从 2006 年开始利用机器学习对产品进行分类和搜索 1 。在现代人工智能 (AI) 取得一系列突破和深度神经网络性能改进之后,这些技术变得无处不在,平台公司成为主要提供商(例如,参见 Nilsson,2009 年,第 33 章;Schmidhuber,2017 年)。正如 (Brock & Von Wangenheim, 2019) 所指出的,似乎没有普遍接受的 AI 定义。尽管如此,以下包容性定义,“人工智能。..旨在让计算机做一些事情,当由人完成时,被描述为具有指示智能”(Brooks,1991,第 1 页)不仅涵盖了当今的深度神经网络和更广泛的机器学习,而且还涵盖了 AI 讨论中存在的许多不同观点。尽管定义不明确,但广泛属于人工智能范畴的符号和概率技术已成为实质性发展的目标
摘要 本论文研究了深度学习和深度强化学习在湍流模拟中的应用。深度学习模型经过训练可以进行时间和空间预测,而深度强化学习则应用于流量控制问题,即减少明渠流中的阻力。长短期记忆 (LSTM, Hochreiter & Schmidhuber 1997) 网络和 Koopman 非线性强迫 (KNF) 模型经过优化,可以在两种降阶湍流模型中执行时间预测,即 Moehlis 等人 (2004) 提出的九方程模型和最小通道流的截断适当正交分解 (POD) (Jim´enez & Moin 1991)。在第一个应用中,这两个模型都能够产生准确的短期预测。此外,预测的系统轨迹在统计上是正确的。KNF 模型在短期预测方面优于 LSTM 网络,并且训练计算成本低得多。在第二个任务中,只有 LSTM 可以成功训练,预测出统计上准确的轨迹。空间预测是在两种湍流中进行的:明渠流和边界层流。全卷积网络 (FCN) 用于使用壁面测量值预测给定壁面法线位置的二维速度波动场(反之亦然)。由于这些模型的非线性特性,它们提供了比扩展 POD(Bor'ee 2003)等最佳线性方法更好的重建性能。最后,我们展示了深度强化学习在发现湍流新控制策略方面的潜力。通过将流体动力学问题构建为多智能体强化学习环境,并使用位置不变的深度确定性策略梯度 (DDPG) 算法训练智能体,我们能够学习一种控制策略,该策略可显著减少 30% 的阻力,比现有策略提高约 10 个百分点。
Ray等,2013; Schmidhuber&Tubiello,2007年; Walthall等人,2013年; Wheeler&von Braun,2013年)。这些频率的天气极端包括观察到的和未来预计的干旱严重性和发生的增长(Jin等,2017; Martin等,2020; Strzepek等,2010; Wehner等,2017),极端降水事件,极端降水事件(Bindoff等,2013; Changnon&Changnon&Gensini,2019年,2019年; Al。,2011; Westra等,2014; Gensini&Brooks,2018年,Gensini&Mote,2015年;Moreover, changes in climate amplify the risk of other nontrivial agricultural facets that ultimately affect crop production, which include changes in phenological stage timing (Hartfield et al., 2011, 2015 ), soil integrity (Delgado et al., 2013 ; Pruski & Nearing, 2002 ; Rosenzweig et al., 2002 ), nutrient requirements (Cai et al., 2015 ; Takle et al., 2006 ),杂草竞争(Clements&Dit-Ommaso,2011; Jinger等,2017; Ramesh等,2017; Wolfe等,2008)以及其他害虫和疾病压力(Anderson等,2004; Angel等,2018; Bebber et al。 )。
不受位置变化的影响。生物控制论,36(4),193-202。 https://doi.org/10.1007/BF 00344251 Goodfellow, I.、Bengio, Y. 和 Courville, A. (2016)。深度学习。麻省理工学院出版社。 (Schmidt、I. Schiffman、Y. Schaefer、A. 化学工程师和仪器仪表(2018)Graves、A.、Wayne、G. 和 Danihelka、I.(2014)。神经图灵机。 arXiv。 Ha, D. 和 Schmidhuber, J. (2018)。世界模特。 arXiv。 https://arxiv.org/abs/1803.10122 Han, K., Wang, Y., Chen, H., Chen, X., Guo, J., Liu, Z., Tang, Y., Xiao, A., Xu, C., Xu, Y., Yang, Z., Zhang, Y., & Tao, D. (2020 年)。关于视觉变压器的调查。 arXiv。 https://arxiv.org/abs/2012.12556 Higgins, I., Amos, D., Pfau, D., Racaniere, S., Matthey, L., Rezende, D., 和 Lerchner, A. (2018)。迈向解开表征的定义。 arXiv。 https://archiv. org/abs/1812.02230 美国国立卫生研究院(AI)(2020 年)。 2020 年人工智能市场:5 年历史的人工智能创新和 5 年历史的临床试验 LeCun, Y., Bengio, Y., & Hinton, G. (2015 年)。深度学习。自然,521,436-444。 http://dx.doi.org/10.1038/nature 14539 Mansimov, E., Parisotto, E., Ba, JL 和 Salakhutdinov, R. (2015)。利用注意力机制根据标题生成图像。 arXiv。 https://archiv.org/abs/1511.02793 纽约(2015 年)。 我的一位朋友是角川家族的成员(2016年)(2016年)。 http://dx.doi.org/10.1037/0033-295X.101.1.13 McCulloch, WS 和 Pitts, W. (1943)。神经活动中蕴含的观念的逻辑演算。数学生物物理公报,5(4),115-133。 https://doi.org/10.1007/BF02478259 Nakkiran, P.、Kaplun, G.、Bansal, Y.、Yang, T.、Barak, B. 和 Sutskever, I. (2019)。深度双重下降:更大的模型和更多的数据会带来危害。 arXiv。 https://arxiv.org/abs/ 1912.02292 Perez, J.、Marinkovic, J. 和 Barcelo, P.(2019 年 5 月 6-9 日)。论现代神经网络架构的图灵完备性。 ICLR 2019:第七届学习表征国际会议。路易斯安那州新奥尔良。美国。 Radford , A.、Kim , JW、Hallacy , C.、Ramesh , A.、Goh , G.、Agarwal , S.、Sastry , G.、Askell , A.、Mishkin , P.、Clark , J.、Krueger , G. 和 Sutskever , I. (2021)。从自然语言监督中学习可转移的视觉模型。 arXiv。 https://arxiv.org/abs/2103.00020 Ramachandran, P., Zoph, B., 和 Le, QV (2017)。寻找激活函数。 arXiv。 https://arxiv.org/abs/ 1710.05941 Razavi, A., van the Word, A. 和 Vinyals, O. (2019)。使用 VQ-VAE-2 生成各种高保真图像arXiv。 https://arxiv.org/abs/1906.00446 Reed, S.、Akata, Z.、Yan, X.、Logeswaran, L.、Schiele, B. 和。
人工智能已成为日常生活中司空见惯的事情。通过网络获取信息、消费新闻和娱乐、金融市场的表现、监控系统识别个人的方式、驾驶员和行人如何导航以及公民如何领取福利金,这些只是人工智能渗透到人类生活、社会机构、文化实践以及政治和经济进程中的无数例子。用于实现人工智能的算法技术的影响是深远的,激发了相当多的时代炒作和希望,以及反乌托邦的恐惧,尽管它们在技术专家的社交网络之外仍然很大程度上不透明且理解甚少(Rieder 2020)。然而,人工智能的深刻社会和伦理影响正变得越来越明显,并成为人们关注的重要对象。人工智能是争议的焦点,例如,工作场所和公共服务的自动化;算法形式的偏见和歧视;不平等和劣势的自动再现;以数据为中心的监视和算法分析制度;无视数据保护和隐私;政治和商业微目标定位;以及科技公司控制和塑造其渗透的所有部门和空间的权力,从整个城市和公民群体到特定的集体、个人甚至人体(Whittaker 等人,2018 年)。已经制定了许多道德框架和专业行为准则,试图减轻人工智能在社会中的潜在危险和风险,尽管关于它们对公司的具体影响或这些框架和准则如何保护商业利益的重要争论仍然存在(Greene、Hofferman 和 Stark,2019 年)。目前,人工智能在网络、智能手机、社交媒体和通过互联物体和传感器网络在空间中的实例化的历史比最近一些划时代的说法所暗示的要长得多。人工智能的历史至少可以追溯到 20 世纪 40 年代计算机科学和控制论的诞生。 “人工智能”这一术语本身是在 20 世纪 50 年代中期达特茅斯学院的一个项目和研讨会中提出的。从 20 世纪 60 年代到 90 年代,人工智能经历了一段“寒冬”,其研究和开发首先侧重于对人类推理的编码原理进行模拟,然后侧重于“专家系统”,即基于定义的知识库模拟专家的程序性决策过程。2010 年之后,人工智能逐渐以一种新范式回归,不再是模拟人类智能或可编程专家系统,而是能够通过对大量“大数据”进行分类和关联来学习和做出预测的数据处理系统。计算过程包括数据分析、机器学习、神经网络、深度学习和强化学习是大多数当代人工智能的基础。人工智能可能只是一系列统计、数学、计算和数据科学实践和发展的新的总称,它们各自都有复杂且相互交织的谱系,但它也标志着这些历史脉络的独特联系(Schmidhuber 2019 , 2020 )。现代人工智能的重点不是创造计算“超级智能”(“强人工智能”),而是理想情况下致力于开发能够从自身经验中学习、适应变化的机器。