摘要— 7KLV SDSHU SUHVHQWV D QHZ KLJK VZLQJ KLJK VSHHG DQG ORZ SRZHU FRQWLQXRXV WLPH &RPPRQ 0RGH )HHGEDFN %ORFN &0)% EDVHG RQ UDLO WR UDLO WHFKQLTXH 7KH PDLQ SXUSRVHV RI WKH SURSRVHG LGHD DUH WR DFKLHYH KLJK VSHHG ORZ VHWWOLQJ WLPH HUURU ODUJH RXWSXW VZLQJ DQG ORZ SRZHU DV ZHOO 0RUHRYHU DSSO\LQJ WKH ZRUVW FDVH VLPXODWLRQ LQLWLDO FRQGLWLRQ DQG YROWV RQ WKH SURSRVHG &0)% FLUFXLW WKH RXWSXW YROWDJH FDQ EH VHWWOHG LQ WKH GHVLUHG OHYHO MXVW DIWHU QV QRWLFHDEO\ 7KH VHWWOLQJ WLPH HUURU DQG WKH SRZHU FRQVXPSWLRQ RI WKH VXJJHVWHG FRPPRQ PRGH IHHGEDFN FLUFXLW DUH MXVW Ɋ DQG —: ZLWK WKH SRZHU VXSSO\ RI YROWV UHVSHFWLYHO\ 0HDQZKLOH '& JDLQ DQG SKDVH PDUJLQ RI WKH DPSOLILHU DUH G% DQG GHJUHH : FRUUHVSRQGLQJO\ DQG S) FDSDFLWRU ORDG LV DSSOLHG WR WKH RXWSXW QRGHV RI WKH DPSOLILHU ,W LV QRWHZRUWK\ WKDW WKH SURSRVHG LGHD LV D JRRG FDQGLGDWH IRU ORZ YROWDJH DSSOLFDWLRQV WRR %HFDXVH LW MXVW QHHGV RYHUGULYH YROWDJH ǻ9 WR VWDUW LWV SHUIRUPDQFH $SSO\LQJ WKH SURSRVHG LGHD RQ WKH IROGHG FDVFRGH DPSOLILHU LW DFKLHYHV 61'5 RI G% ZLWK WKH (IIHFWLYH 1XPEHU RI %LWV (12% ELWV UHVSHFWLYHO\ 7KH SURSRVHG &0)% RFFXSLHV DQ DFWLYH DUHD RI —P —P —P )LQDOO\ WKH SURSRVHG VWUXFWXUH LV VLPXODWHG LQ ZKROH SURFHVV FRUQHU FRQGLWLRQ DQG GLIIHUHQW WHPSHUDWXUHV IURP Ԩ WR Ԩ 6LPXODWLRQ UHVXOWV DUH SHUIRUPHG XVLQJ WKH +63,&( %6,0 PRGHO RI D —P &026 WHFKQRORJ\
,Q WKH RSLQLRQ RI 2UULFN +HUULQJWRQ 6XWFOLৼH //3 6SHFLDO 7D[ &RXQVHO WR WKH &RPPLVVLRQ ³6SHFLDO 7D[ &RXQVHO´ EDVHG XSRQ DQ DQVLODXWWHWJWL QV UXOLQJV DQG FRXUW GHFLVLRQV DQG DVVXPLQJ DPRQJ RWKHU PDWWHUV WKH DFFXUDF\ RI FHUWDLQ UHSUHVHQWDWLRQV DQG FRPSOLDQFH ZLWK FHUWDLQ FRYWQWHWHWHWHWHWHWH %RQGV DQG WKH 6HULHV % %RQGV LV H[FOXGHG IURP JURVV LQFRPH IRU IHGHUDO LQFRPH WD[ SXUSRVHV XQGHU 6HFWLRQ RI WKH ,QWHUQDO 5HYHQXH WHRI WKHWR ³R HWR SLQLRQ LV H[SUHVVHG DV WR WKH VWDWXV RI LQWHUHVW RQ DQ\ 6HULHV $ %RQG IRU DQ\ SHULRG WKDW VXFK 6HULHV $ %RQG LV KHOG E\ D ³VXEV XWDWQHWQHWH HG RU UH¿QDQFHG E\ WKH 6HULHV $ %RQGV RU E\ D ³UHODWHG SHUVRQ´ ZLWKLQ WKH PHDQLQJ RI 6HFWLRQ D RI WKH &RGH ,Q WKH IXUWKHU RQRQRQXLQLQXLQXLQH VW RQ WKH 6HULHV % %RQGV LV QRW D VSHFL¿F SUHIHUHQFH LWHP IRU SXUSRVHV RI WKH IHGHUDO LQGLYLGXDO DOWHUQDWLYH PLQLPXP WD[ 6SHFLDO 7D[XVQWWHWWWWHWW KH 6HULHV $ %RQGV LV D VSHFL¿F SUHIHUHQFH LWHP IRU SXUSRVHV RI WKH IHGHUDO LQGLYLGXDO DOWHUQDWLYH PLQLPXP WD[ DQG WKDW LQWHUHVW RQ WKHHH WKHV 6GGHV 6 % %RQGV LQFOXGHG LQ DGMXVWHG ¿QDQFLDO VWDWHPHQW LQFRPH RI FHUWDLQ FRUSRUDWLRQV LV QRW H[FOXGHG IURP WKH IHGHUDO FRUSRUDWH DOWHUQDWLYH PLQLPXP, WWQWKHWRQR FLDO 7D[ &RXQVHO LQWHUHVW RQ WKH 6HULHV $ & %RQGV LV H[HPSW IURP 6WDWH RI &DOLIRUQLD SHUVRQDO LQFRPH WD[HV 6SHFLDO 7D[ &RXQVHO REVHUYHVR WQW % LQWKHV WKHW W H[FOXGHG IURP JURVV LQFRPH IRU IHGHUDO LQFRPH WD[ SXUSRVHV XQGHU 6HFWLRQ RI WKH &RGH 6SHFLDO 7D[ &RXQVHO H[SUHVVHV QR RSLQLRQ UHJDUGLQJ DQFQFQHWHWHWHWH\ R WKH RZQHUVKLS RU GLVSRVLWLRQ RI RU WKH DPRXQW DFFUXDO RU UHFHLSW RI LQWHUHVW RQ WKH 6HULHV $ & %RQGV 6HH 37ਁਘ 0ਁਔ
不受位置变化的影响。生物控制论,36(4),193-202。 https://doi.org/10.1007/BF 00344251 Goodfellow, I.、Bengio, Y. 和 Courville, A. (2016)。深度学习。麻省理工学院出版社。 (Schmidt、I. Schiffman、Y. Schaefer、A. 化学工程师和仪器仪表(2018)Graves、A.、Wayne、G. 和 Danihelka、I.(2014)。神经图灵机。 arXiv。 Ha, D. 和 Schmidhuber, J. (2018)。世界模特。 arXiv。 https://arxiv.org/abs/1803.10122 Han, K., Wang, Y., Chen, H., Chen, X., Guo, J., Liu, Z., Tang, Y., Xiao, A., Xu, C., Xu, Y., Yang, Z., Zhang, Y., & Tao, D. (2020 年)。关于视觉变压器的调查。 arXiv。 https://arxiv.org/abs/2012.12556 Higgins, I., Amos, D., Pfau, D., Racaniere, S., Matthey, L., Rezende, D., 和 Lerchner, A. (2018)。迈向解开表征的定义。 arXiv。 https://archiv. org/abs/1812.02230 美国国立卫生研究院(AI)(2020 年)。 2020 年人工智能市场:5 年历史的人工智能创新和 5 年历史的临床试验 LeCun, Y., Bengio, Y., & Hinton, G. (2015 年)。深度学习。自然,521,436-444。 http://dx.doi.org/10.1038/nature 14539 Mansimov, E., Parisotto, E., Ba, JL 和 Salakhutdinov, R. (2015)。利用注意力机制根据标题生成图像。 arXiv。 https://archiv.org/abs/1511.02793 纽约(2015 年)。 我的一位朋友是角川家族的成员(2016年)(2016年)。 http://dx.doi.org/10.1037/0033-295X.101.1.13 McCulloch, WS 和 Pitts, W. (1943)。神经活动中蕴含的观念的逻辑演算。数学生物物理公报,5(4),115-133。 https://doi.org/10.1007/BF02478259 Nakkiran, P.、Kaplun, G.、Bansal, Y.、Yang, T.、Barak, B. 和 Sutskever, I. (2019)。深度双重下降:更大的模型和更多的数据会带来危害。 arXiv。 https://arxiv.org/abs/ 1912.02292 Perez, J.、Marinkovic, J. 和 Barcelo, P.(2019 年 5 月 6-9 日)。论现代神经网络架构的图灵完备性。 ICLR 2019:第七届学习表征国际会议。路易斯安那州新奥尔良。美国。 Radford , A.、Kim , JW、Hallacy , C.、Ramesh , A.、Goh , G.、Agarwal , S.、Sastry , G.、Askell , A.、Mishkin , P.、Clark , J.、Krueger , G. 和 Sutskever , I. (2021)。从自然语言监督中学习可转移的视觉模型。 arXiv。 https://arxiv.org/abs/2103.00020 Ramachandran, P., Zoph, B., 和 Le, QV (2017)。寻找激活函数。 arXiv。 https://arxiv.org/abs/ 1710.05941 Razavi, A., van the Word, A. 和 Vinyals, O. (2019)。使用 VQ-VAE-2 生成各种高保真图像arXiv。 https://arxiv.org/abs/1906.00446 Reed, S.、Akata, Z.、Yan, X.、Logeswaran, L.、Schiele, B. 和。