学习与推理的融合是当今人工智能和机器学习面临的关键挑战之一,各个社区都在努力解决这一问题。对于神经符号计算 (NeSy) 领域尤其如此 [ 11 , 23 ],其目标是整合符号推理和神经网络。NeSy 已经有悠久的传统,最近引起了各个社区的广泛关注(参见Y. Bengio 和 H. Kautz 在 AAAI 2020 上关于这个主题的主题演讲,Y. Bengio 和 G. Marcus 之间的 AI 辩论 [ 10 ])。另一个在融合学习和推理方面有着丰富传统的领域是统计关系学习和人工智能 (StarAI) [ 41 , 89 ]。但是,它不是专注于整合逻辑和神经网络,而是围绕着将逻辑与概率推理(更具体地说是概率图模型)相结合的问题。尽管人们共同关注将符号推理与学习的基本范式(即概率图模型或神经网络)相结合,但令人惊讶的是,这两个领域之间并没有更多的相互作用。这种差异是本次调查背后的主要动机:它旨在指出这两项努力之间的相似之处,并希望以这种方式促进相互影响。为此,我们从 StarAI 的文献开始,
“我们的机器学习方式非常狭隘,”Bengio 在 2019 年 12 月的 NeurIPS 主题演讲中说道。“与人类智能示例相比,它们需要更多的数据来学习一项任务,但它们仍然会犯愚蠢的错误。”毫无疑问,深度学习是一种不完美的智能模型。它无法进行抽象推理,无法理解因果关系,并且难以进行超出分布的泛化。
Yoshua Bengio是蒙特利尔大学计算机科学与运营研究系的完整教授,MILA的创始人兼科学总监和Ivado的科学总监。他是2018年上午的接受者Turing Award是CIFAR AI主席,伦敦皇家学会和加拿大皇家学会的院士,加拿大勋章的官员,法国荣誉军团的骑士,联合国科学和技术突破的独立建议的科学咨询委员会成员,也是国际高级AI安全的国际科学报告。
基于能量的模型(EBM)最近收到了感兴趣的插入量,并已应用于现实的图像产生(Han等,2019; Du&Mordatch,2019年),3D形状形状的合成(Xie等,2018b),脱离分布和对抗性的鲁棒性(Lee等人,2018年; du&Morth。 (Hinton,1999; Du等,2020a),记忆建模(Bartunov等,2019),文本生成(Deng等,2020),视频生成(Xie等,2017),增强学习(Haarnoja等人(Haarnoja et al。,2017; Du等,2019; Du等,protein; et et and of Focein; eft al。,protein Dive and Flive and Div); Du等人,2020b)和生物学上的培训(Scellier&Bengio,2017年)。对比性差异是(Hinton,2002)提出的训练EBM的流行而优雅的程序,可降低训练数据的能量并提高模型产生的采样综合的能量。模型进行了模型是通过MCMC过程(通常是Gibbs采样或Langevin Dynamics)生成的,从而利用了对采样和随机优化的广泛研究。对比差异的吸引力是其简单性和可扩展性。它不需要培训额外的辅助网络(Kim&Bengio,2016; Dai等,2019)(引入其他调整和平衡需求),可以用来构成零射模型。
- AE:Pierre Baldi。自动编码器,无监督的学习和深度体系结构。在ICML关于无监督和转移学习的研讨会上,第37-49页。JMLR研讨会和会议记录,2012年。URL http://proceedings.mlr.press/v27/baldi12a/baldi12a.pdf - vae-paper:Diederik P. Kingma和Max Welling。 自动编码变分贝叶斯。 在Yoshua Bengio和Yann Lecun,编辑,第二届国际学习代表会议,ICLR 2014,2014年,AB,加拿大AB,2014年4月14日至16日,2014年会议赛道诉讼,2014年。 url http:// arxiv.org/abs/1312.6114 - vae-tutorial:Diederik P Kingma,Max Welling等。 变分自动编码器的简介。 基金会和趋势®在机器学习中,12(4):307–392,2019。 url https:// www。 nowpublishers.com/article/downloadsummary/mal-056 - 重要性 - 智慧:Yuri Burda,Roger Grosse和Ruslan Salakhutdinov。 重要的加权自动编码器。 ARXIV预印ARXIV:1509.00519,2015。 URL https://arxiv.org/pdf/1509.00519URL http://proceedings.mlr.press/v27/baldi12a/baldi12a.pdf - vae-paper:Diederik P. Kingma和Max Welling。自动编码变分贝叶斯。在Yoshua Bengio和Yann Lecun,编辑,第二届国际学习代表会议,ICLR 2014,2014年,AB,加拿大AB,2014年4月14日至16日,2014年会议赛道诉讼,2014年。url http:// arxiv.org/abs/1312.6114 - vae-tutorial:Diederik P Kingma,Max Welling等。变分自动编码器的简介。基金会和趋势®在机器学习中,12(4):307–392,2019。url https:// www。nowpublishers.com/article/downloadsummary/mal-056 - 重要性 - 智慧:Yuri Burda,Roger Grosse和Ruslan Salakhutdinov。重要的加权自动编码器。ARXIV预印ARXIV:1509.00519,2015。URL https://arxiv.org/pdf/1509.00519URL https://arxiv.org/pdf/1509.00519
参考文献 1 . LeCun Y, Bengio Y, Hinton G. 深度学习。自然。2015;521:436-444。 2 . Gu D,Liu G,Xue Z。肺结节检测、分割和分类的性能研究。计算机医学成像图。2021;89:101886。 3 . Tomassini S,Falcionelli N,Sernani P,Burattini L,Dragoni AF。通过卷积神经网络从计算机断层扫描数据进行肺结节诊断和癌症组织学分类:一项综述。计算机生物医学。2022;146:105691。 4 . Chassagnon G,De Margerie-Mellon C,Vakalopoulou M,Marini R,Hoang-Thi TN,Revel MP 等。肺癌中的人工智能:当前的应用和前景。日本放射学杂志。2023;41:235-244。
摘要卷积神经网络(Lecun and Bengio 1998脑理论与神经网络手册255-58; Lecun,Bengio和Hinton 2015 Nature 521 436-44)在现代信号处理和机器视觉中是最先进的,无处不在。如今,基于新兴纳米版的硬件解决方案旨在减少这些网络的功耗。 这是通过使用实现卷积滤波器并顺序乘以输入的连续子集的设备,或者通过使用不同的一组设备来并行执行不同的乘法,以避免将中间计算步骤存储在内存中。 SpinTronics设备由于提供了各种神经和突触功能,因此可以进行信息处理。 然而,由于其低/偏高/比率,在单个步骤中使用横杆式旋转记忆阵列进行卷积所需的所有乘法将导致偷偷摸摸的路径电流。 在这里,我们提出了一个建筑,其中突触通信基于共振效果。 这些突触通信具有频率选择性,可防止由偷偷摸摸电流引起的串扰。 我们首先演示了一系列自旋谐振器如何通过依次校正编码连续输入集的射频信号来充当突触并进行卷积。 我们表明,具有多个自旋谐振器的多个链可以实现并行实现。 我们为这些链条提出了两种不同的空间布置。如今,基于新兴纳米版的硬件解决方案旨在减少这些网络的功耗。这是通过使用实现卷积滤波器并顺序乘以输入的连续子集的设备,或者通过使用不同的一组设备来并行执行不同的乘法,以避免将中间计算步骤存储在内存中。SpinTronics设备由于提供了各种神经和突触功能,因此可以进行信息处理。然而,由于其低/偏高/比率,在单个步骤中使用横杆式旋转记忆阵列进行卷积所需的所有乘法将导致偷偷摸摸的路径电流。在这里,我们提出了一个建筑,其中突触通信基于共振效果。这些突触通信具有频率选择性,可防止由偷偷摸摸电流引起的串扰。我们首先演示了一系列自旋谐振器如何通过依次校正编码连续输入集的射频信号来充当突触并进行卷积。我们表明,具有多个自旋谐振器的多个链可以实现并行实现。我们为这些链条提出了两种不同的空间布置。对于每个人,我们解释了如何同时调整许多人工突触,从而利用了突触重量共享特定的卷积。我们通过使用自旋振荡器作为人工微波神经元来展示如何通过使用自旋振荡器在卷积层之间传输信息。最后,我们模拟了这些射频谐振器和自旋振荡器的网络,以求解MNIST手写数字数据集,并获得与软件卷积神经网络相当的结果。由于它可以与纳米设备的单一步骤完全平行运行卷积神经网络,因此本文提出的架构对于需要机器视觉的嵌入式应用程序(例如自主驾驶)很有希望。
教科书: 1. Stuart Russell 和 Peter Norvig,“人工智能——一种现代方法”,第四版,Pearson Education,2021 年。 2. Ethem Alpaydin,“机器学习简介”,麻省理工学院出版社,第四版,2020 年。 参考文献: 1. Dan W. Patterson,“人工智能和专家系统简介”,Pearson Education,2007 年 2. Kevin Night、Elaine Rich 和 Nair B.,“人工智能”,McGraw Hill,2008 年 3. Patrick H. Winston,“人工智能”,第三版,Pearson Education,2006 年 4. Deepak Khemani,“人工智能”,Tata McGraw Hill Education,2013 年(http://nptel.ac.in/) 5. Christopher M. Bishop,“模式识别和机器学习”,Springer,2006 年。 6. Tom Mitchell,“机器学习”,McGraw Hill,第 3 版,1997 年。 7. Charu C. Aggarwal,“数据分类算法和应用”,CRC Press,2014 年 8. Mehryar Mohri、Afshin Rostamizadeh、Ameet Talwalkar,“机器学习基础”,MIT Press,2012 年。 9. Ian Goodfellow、Yoshua Bengio、Aaron Courville,“深度学习”,MIT Press,2016 年
安全,” Lesswrong,2023年1月21日,www.lesserwrong .com/posts/ptzseqxkc fig9a6as/tresscript-tresmcript-of -sam -sam-altman -s-s-interview -s-interview -touching -touching-on -ai-safety;伊恩·霍加斯(Ian Hogarth),“我们必须放慢像神般的AI的速度”,《金融时报》,2023年4月13日,www .ft .com/content/content/03895dc4 -a3b7 -a3b7 -481e -95cc -336A524F2 AC2; “暂停巨人AI实验:公开信”,《生命研究所的未来》,2023年3月22日,未来的Futureflife .org/open-lecter-letter/暂停-Agiant -ai -ai-experiments/;凯德·梅茨(Cade Metz),“‘AI的教父退出Google并警告危险”,纽约时报,2023年5月1日,www.nytimes.com/2023/05/01/Technology/ai-google -google -chatbot-geentbot -eentineer -eentineer -eentineer -quits-quits-quits -hinton .html;穆斯塔法·苏莱曼(Mustafa Suleyman),《浪潮:技术,力量》和二十一世纪最大的困境,迈克尔·巴斯卡(Michael Bhaskar)(纽约:皇冠,2023年); Walter Isaacson,Elon Musk(伦敦:Simon&Schuster,2023年)。17。Yoshua Bengio等人,“在快速进步的情况下管理极端的AI风险”,
•从数据中学习,Yaser S. Abu-Mostafa,Malik Magdon-Ismail,Hsuan-Tien Lin,2012年。(书籍网页:http://work.caltech.edu/textbook.html)•使用Scikit-Learn,keras和Tensorflow的动手机器学习:构建智能系统的概念,工具和技术•机器学习的第一门课程,第2版,西蒙·罗杰斯(Simon Rogers),马克·吉罗拉米(Mark Girolami),CRC出版社,2017年。ISBN-13:978-1-4987-3856-9•机器学习精致,第2版,Jeremy Watt,Reza Borhani,Aggelos K. K. K. K. Katsaggelos,Cambridge University Press,2020(在线提供:https://ciml.info)•机器学习,汤姆·米切尔(Tom Mitchell)。(http://www.cs.cmu.edu/af/afs/cs.cmu.edu/user/user/mitchell/mitchell/ftp/ftp/ftp/mlbook.html)•机器学习简介,EthemAlpaydın,第3版,第3版,MIT Press,2015年。•模式分类,第2版,R。O。Duda,P。E。Heart,D。G。Stork,Wiley,Wiley,2000。•深度学习,伊恩·古德法罗(Ian Goodfellow),Yoshua Bengio,亚伦·库维尔(Aaron Courville),麻省理工学院出版社,2016年。(在线提供:https://www.deeplearningbook.org/)