当前人工智能进步时期的开启是因为 Krizhevsky 等人 [ 2012 ] 展示了一种结构简单的人工神经网络(该网络已为人所知二十多年 [ LeCun 等人,1989 ]),可以大幅击败最先进的复杂图像识别方法,而这只需将其规模扩大一百倍,并在同样扩大的数据集上进行训练即可。
使用方差正规化K. Evtimova,Y。Lecun用多层解码器进行稀疏编码。TMLR 2022。ista是一种用于提取数据稀疏表示形式的经典算法。我们将ISTA扩展到与深度神经网络一起使用,应用方差正则化以避免崩溃。用我们的方法提取的稀疏图像表示形式提高了一声学习性能。
CNN(卷积神经网络)算法通常用于分类和深度学习图像处理(Zhang等,2018)。该神经元网络的核心由包含一组过滤器的卷积层表示,用作输出的张量(Lecun等,1998)。使用CNN算法进行失业率预测,并在NHOSE等人中获得中等结果。(2023)。尽管CNN算法的改进版本也已被证明对预测有效,但在本文中,使用了基本模型。CNN算法的更新版本是CNN – LSTM模型,其中卷积层之后是LSTM网络,为Ou-Yang等人的汽车销售预测提供了良好的预测性能。(2022)。同样,CNN和LSTM合并模型也用于房价预测(GE,2019年)。
人类正处于人工智能 (AI) 加速发展的轨道上。2019 年,最先进的模型是 GPT-2,该模型无法可靠地数到十。仅仅四年后,同样基于深度学习的类似但更大的人工智能系统可以编写软件并就智力主题提供建议。科技公司现在正竞相创造通用人工智能 (AGI):在大多数或所有知识工作中匹敌或超越人类能力的通才和自主系统。2018 年深度学习图灵奖的三位获奖者(Geoffrey Hinton、Yann LeCun 和我)将 AGI 的时间线定在几年到几十年的区间内。在本文中,我研究了这其中涉及的一些更大规模的风险,并提出了减轻灾难性后果风险的方法。
然而,十年后,由于计算机科学研究的进步和摩尔定律,人工智能重新兴起。根据 Investopedia 的说法,摩尔定律“意味着随着集成电路上的晶体管效率的提高,计算机、在计算机上运行的机器和计算能力都会随着时间的推移变得更小、更快、更便宜”(Tardi 2021)。³ 简而言之,学者们可以预期计算机的速度和能力会随着时间的推移而提高。此外,Yann LeCun 和 Jürgen Schmidhuber 等关键研究人员开发了深度学习等先进算法,推动了 21 世纪人工智能的持续进步。⁴ Mathworks 将深度学习描述为“一种机器学习技术,它教计算机做人类自然而然的事情:通过示例学习”(“什么是深度学习?” 2019)。深度学习
- AE:Pierre Baldi。自动编码器,无监督的学习和深度体系结构。在ICML关于无监督和转移学习的研讨会上,第37-49页。JMLR研讨会和会议记录,2012年。URL http://proceedings.mlr.press/v27/baldi12a/baldi12a.pdf - vae-paper:Diederik P. Kingma和Max Welling。 自动编码变分贝叶斯。 在Yoshua Bengio和Yann Lecun,编辑,第二届国际学习代表会议,ICLR 2014,2014年,AB,加拿大AB,2014年4月14日至16日,2014年会议赛道诉讼,2014年。 url http:// arxiv.org/abs/1312.6114 - vae-tutorial:Diederik P Kingma,Max Welling等。 变分自动编码器的简介。 基金会和趋势®在机器学习中,12(4):307–392,2019。 url https:// www。 nowpublishers.com/article/downloadsummary/mal-056 - 重要性 - 智慧:Yuri Burda,Roger Grosse和Ruslan Salakhutdinov。 重要的加权自动编码器。 ARXIV预印ARXIV:1509.00519,2015。 URL https://arxiv.org/pdf/1509.00519URL http://proceedings.mlr.press/v27/baldi12a/baldi12a.pdf - vae-paper:Diederik P. Kingma和Max Welling。自动编码变分贝叶斯。在Yoshua Bengio和Yann Lecun,编辑,第二届国际学习代表会议,ICLR 2014,2014年,AB,加拿大AB,2014年4月14日至16日,2014年会议赛道诉讼,2014年。url http:// arxiv.org/abs/1312.6114 - vae-tutorial:Diederik P Kingma,Max Welling等。变分自动编码器的简介。基金会和趋势®在机器学习中,12(4):307–392,2019。url https:// www。nowpublishers.com/article/downloadsummary/mal-056 - 重要性 - 智慧:Yuri Burda,Roger Grosse和Ruslan Salakhutdinov。重要的加权自动编码器。ARXIV预印ARXIV:1509.00519,2015。URL https://arxiv.org/pdf/1509.00519URL https://arxiv.org/pdf/1509.00519
RKHM中监督学习的重要应用是其输入和输出是图像的任务。如果所提出的内核具有特定的参数,则产品结构是卷积,与傅立叶成分的点型相对应。通过将C ∗ - 代数扩展到更大的代数,我们可以享受比卷积更多的一般操作。这使我们能够通过在傅立叶组件之间进行交互来有效地分析图像数据。关于概括结合,我们通过Rademacher复合物理论得出了与RKHS和VVRKHS相同的结合类型。这是我们所知,这是RKHM假设类别的第一个概括。关于与现有方法的联系,我们表明,使用框架,我们可以重建现有方法,例如卷积神经网络(Lecun等,1998)和卷积内核(Mairal等,2014),并进一步概括它们。这一事实意味着我们框架的表示能力超出了现有方法。
大多数人工智能应用都涉及机器学习,即机器反复分析数据集以识别(“学习”)数据中的固有模式,例如检测图像上的物体或根据表格数据预测事件。机器学习的一个特定子领域是深度学习,用于分析特别复杂的数据(例如图像或语音),其中使用事先测试过的多层数学运算网络来表示特征(LeCun 等人,2015 年)。到目前为止,人工智能涵盖了一系列应用。这些包括计算机视觉(例如智能手机或安全摄像头的人脸识别、自动驾驶)、自然语言处理(可以系统化和链接结构化和非结构化文本和类似工具的语音助手或聊天机器人)、机器人技术、虚拟现实和模拟系统(例如在制造业中
第一个神经网络——感知器——是模拟大脑行为的尝试(Rosenblatt,1958 年)。这些网络能够提供记忆和学习如何工作的简单复制,但在简单的非线性逻辑函数方面却失败了。当这些感知器被组织成多层并以新的方式训练时——这样一层的学习信息和错误就可以传递到下一层——它们的“理解力”和表达能力得到了改善(Rumelhart 等人,1986 年)。当这些多层网络在几个连续的步骤中被用来创建更深层次的人工神经网络时,深度学习(LeCun 等人,2015 年)就出现了。深度学习使上下文识别成为可能。由于这种上下文分层,这些深度网络现在能够识别和理解更高层次的概念,