3 TSMC,Hsinchu,Taiwan *同样信誉的作者(ECAS)增强视频质量对于在包括手机,电视和监视器在内的智能设备上获得了增强的用户体验至关重要。实用的硬件设计应在与带宽,区域和能源预算相关的严格限制下提供最小资源的高性能。在图像处理任务中,深入学习算法的广泛用法(包括超分辨率(SR)和降噪(NR))进一步强调了能量效率硬件解决方案的必要性。因此,新兴的关键要求是在实时和高分辨率方案中部署这些算法。但是,实现这一目标提出了几个挑战,如图20.1.1:1)高分辨率网络推断大大增加了由于其计算复杂性,低稀疏性和高精度要求而引起的功耗; 2)频繁的高精度数据交易到外部内存会导致与带宽使用相关的大量功率使用; 3)有效和灵活的机制对于支持各种网络结构和操作至关重要。域特异性加速器提供了一种有希望的解决方案来处理计算需求。总的来说,这些创新使NVE能够在0.46V时达到23.2吨/w的端到端能量效率,而面积的效率为12.0吨/mm 2的面积为1.0V。图20.1.2显示了整体体系结构,包括卷积(Conv)核心,计算机视觉(CV)核心和直接内存访问(DMA)模块。图20.1.3概述了DCIM核心设计和工作流。在这项工作中,提出了在3NM技术中制造的12B位数基于CIM的神经视觉增强引擎(NVE),其特征是:1)无重量的无重量数字计算机(DCIM)发动机,其重量切换率降低,以增强计算能力的功能; 2)卷积元素(CE)融合建立了工作负载平衡的管道架构,从而减少了外部内存访问和功耗; 3)自适应数据控制和带状优化机制支持DCIM中的卷积和转置卷积,并改善了利用率,并且对有效的数据遍历进行了优化的执行流。Conv Core包含11个阶段的管道CE,用于存储中间数据的功能映射存储器,CE融合接口和融合控制。a fine编译器分区将计算图分隔为时区域的循环和太空划分的条纹,以优化吞吐量和内存访问,然后在命令描述符中编码重量和设置。DMA将描述符解码并从DRAM或TCM中加载输入特征映射,以基于线的栅格扫描顺序为核心。在管道流中,每个CE从特征映射存储器和前面的管道阶段收集数据,并将其分配到DCIM宏。宏计算每个周期中的8组点产量,其中每组涉及72对12B元素。权重局部存储在18组行中,其特定集由行选择器选择。在实验结果中证明了使用更频繁使用的8b的12B激活和权重的必要性。在拟议的行开关更高的精度有助于产生更平滑的边缘和最小化超分辨率任务中的噪声。同样,在降低降噪任务中,更高的精度会导致较少的流动性,并产生更重的图像。DCIM的高效率很大程度上是由于记忆和逻辑之间的数据移动降低,这对于最大程度地减少了频繁的重量重音至关重要。先前的工作[1]引入了带有乒乓重量更新的2行DCIM设计,但除了dcim宏中的乒乓球重量存储外,它会引起重量重加载和其他SRAM的电源和面积。利用像素级网络中的权重较少,采用了18行DCIM来存储所有权重并消除重新加载。与[1]中提出的方法相比,这种方法分别将面积和功率降低了31%和28%。影响DCIM效率的另一个因素是重量排开关的频率,这是计算不同权重集合时发生的能量耗尽操作。延长行开关周期可以减少能源消耗,但它还需要在输入和输出缓冲区中存储更多像素,从而导致较大的面积在开销中。
J. Adam 6,L。Adams2,J ER。 Bielcik 14,J。Bielcikova38,L。Bland6,I。G。Borcy 3,J。D。Brandenburg 49,45, J. M. Campbell 39,D。Cebra8,I。Chacaberia29,6,P。Challopka14,B。K。Song 9,F-H。 Chang 37,Chang 6,N。Chankova-Bunzarova 28,A。Chatterjee 11,D。Chen 10,J。H. Chen 18,X。Chen 48,J。Cheng Choudhury 18,W。Christie6,X。Chu6,A. derevchikov 43,L。Didenko6,x O. Evdokimov 12,A。Ewigleben32, 6,A。Francisco 64,L。Fulek 2,C S. S.A. Mazer 46,K。Meehan 8,N。G. Minae 43,St.Michael 55 55,B。Morozov 46,M。Nagy 16,J。D. Nam 54,医学博士。 太阳12,Y。 太阳48,Y。A. Mazer 46,K。Meehan 8,N。G. Minae 43,St.Michael 55 55,B。Morozov 46,M。Nagy 16,J。D. Nam 54,医学博士。太阳12,Y。太阳48,Y。26,St. Heppelmann 8,St。Heppelmann42,N。Herrmann19,E。 ,X。Huang57,T。J。诸法39, Jowsaee 63,X。Ju 48,E。G. Judd 7,St.Kabana 53,M。L. Kabir 10,St.Kagamaster 32,D。Calinkin 25,K。Kang 57, 29,A。Kechechan 28,M。Celes 31,35 35 35,D。P. Kiko The 62,C。Kim 10,CIM 8 8,D。Kiseel 62,M。Kocan 14,L。Kochenda 35,L。K. Elayvalli 63,J。H. Care 25,R。Lacey 52,圣约翰浸信会6,J。Lauret 6,A。 ,W。Li45,x刘64,X。Liu39,Y R. My 6,Y。G. My 50,N。Magdy 12,R。Majka 64,D。 A. P. Suaide 47,M。Schumble 38,B。Summa 42,X。M. Sun 11,X。26,St. Heppelmann 8,St。Heppelmann42,N。Herrmann19,E。 ,X。Huang57,T。J。诸法39, Jowsaee 63,X。Ju 48,E。G. Judd 7,St.Kabana 53,M。L. Kabir 10,St.Kagamaster 32,D。Calinkin 25,K。Kang 57, 29,A。Kechechan 28,M。Celes 31,35 35 35,D。P. Kiko The 62,C。Kim 10,CIM 8 8,D。Kiseel 62,M。Kocan 14,L。Kochenda 35,L。K. Elayvalli 63,J。H. Care 25,R。Lacey 52,圣约翰浸信会6,J。Lauret 6,A。 ,W。Li45,x刘64,X。Liu39,Y R. My 6,Y。G. My 50,N。Magdy 12,R。Majka 64,D。A. P. Suaide 47,M。Schumble 38,B。Summa 42,X。M. Sun 11,X。A. P. Suaide 47,M。Schumble 38,B。Summa 42,X。M. Sun 11,X。我们的22,K。Nayak 11,D。Ne试9,J。M. Nelson 7,D。B. Nemes 64,M。Nie 49,G。Nigmatkululov 35,T。Niid 58,L。V. Nogach 58,L。Nogach 58,L。Nogach 58,A。Nogas 58,A。Nogas 58,A。Nora 58,A。A. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. Nunes 6,G。Odnic 31,A。Ogawa 6,S。OH 31,V。A. Ocorocov 35,B。S. Page 6,R。Pak 6,A。Pandav 36,Y。Panbratsev 28,B。Pawlitsev 28,B。Pawl 40,B。 11,C。Perkins 7,L。Pinsky 20,R。L. Pint´er 16,J。Plut 62,J。Porter 31,M。Possik 54,N。Pruhi 41,M。调整2,J。Puthi 63,J。Putschke 63,H。Qiu 26,A。 Quintero 54,S。K. Radhakrishnan 29,S。Ramachandran 30,R。L. Ray 56,R。Reed 32,H。G. Ritter 31,J.B. Roberts 45,O。V. Rogachevskiy 28,J。L. Romero 8,L。Ruan 6,J。Ruan 38,N。R. Sahoo 49,H。Salur 58,Salur 46,J。Salur 46,J。Salur 46,J。Sandwess 64,J。Sandwess 64,S。Sandweiss 64,S。Sandweiss 64,S.Sato 58,W。B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. Schmidke 6 , N. Schmitz 33 , B. Schweid 52 , F. Seck 15 , J. Seger 13 , M. Sergeeva 9 , R. Seal 10 , P. Seyboth 33 , N. Shah 24 , E. Shahliev 28 , E. Shahalev 28 , P. V. V. Sanganganathan 6 , P. V. V. Shanmunathan 6 , E M. Shao 48,F。Shen 49,W。Q. Shen 50,S。Shi 11,Q. Y. Shu 50,E。P. Sichtermann 31,R。Sikora 2,M。Simko 38,J。Singh 41,S。S. Singh 41,S。Singh 41,S。S. Singh 26,S。Singh 26,S。Singh 26,N。Smirnov 64,N。Smirnov 64, ,W。Solyst25,P。Sensen6,H。Spink4,B。Srivastava44,T。D。D. S. S. S. Stanislaus 60,M。Stefaniak62,D.J.Stewart 64,M。Strikhanov35,B。stringFellow35,B。stringfellow35,B。stringfellow44,A.B. Roberts 45,O。V. Rogachevskiy 28,J。L. Romero 8,L。Ruan 6,J。Ruan 38,N。R. Sahoo 49,H。Salur 58,Salur 46,J。Salur 46,J。Salur 46,J。Sandwess 64,J。Sandwess 64,S。Sandweiss 64,S。Sandweiss 64,S.Sato 58,W。B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. B. Schmidke 6 , N. Schmitz 33 , B. Schweid 52 , F. Seck 15 , J. Seger 13 , M. Sergeeva 9 , R. Seal 10 , P. Seyboth 33 , N. Shah 24 , E. Shahliev 28 , E. Shahalev 28 , P. V. V. Sanganganathan 6 , P. V. V. Shanmunathan 6 , E M. Shao 48,F。Shen 49,W。Q. Shen 50,S。Shi 11,Q. Y. Shu 50,E。P. Sichtermann 31,R。Sikora 2,M。Simko 38,J。Singh 41,S。S. Singh 41,S。Singh 41,S。S. Singh 26,S。Singh 26,S。Singh 26,N。Smirnov 64,N。Smirnov 64, ,W。Solyst25,P。Sensen6,H。Spink4,B。Srivastava44,T。D。D. S. S. S. Stanislaus 60,M。Stefaniak62,D.J.Stewart 64,M。Strikhanov35,B。stringFellow35,B。stringfellow35,B。stringfellow44,A.Sun 21,B。Surrow 54,D。N. Svirian 3,P。手术62,A。H. Tang 6,Z。Tang 48,A。Tang 35,T。T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. T. , M. Tokared 28 , C. A. Tomkiel 32 , S. Trentalage 9 , R. E. Tribble 55 , P. Tribedy 6 , S. Tribeyy 16 , O. Tsai 9 , Z. Tosai 6 , T. G. U. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. G. Upper 4 ,6,G。VanBuren 6,J。Vank38,A。Vasiliev43,I。Vassyliev17,F。Videbæk6,S。Vokal28,S。A。Vokal 63,F。Wang44,G。Wang9,J。S。Wang 21,J。S。Wang 21,J。S。Wang 21,J。S。Wang 21, P. Wang 48,Y. Wang 11,Y. Wang 57,Z. Wang 49,J.C.C.C. Web 6,P.C。Wedenk19,L。Wen9,G。Wen34,H。Weman31,H。Wemank 31,H。Wemank 31,S。Wissink 31,S。Wissink 25,R。Wit 59,Y。 WU 10,Z. G. Xiao 57,G。Xie 31,W。Xie 44,H。Xu 21,N。Xu 31,N。Xu 31,Y。Xu 50,Y。Xu 50,Y。Xu 50,Y。Xu 49,Y。Xu 6,Y。Xu 6,Z。Xu 9,Z。Xu 9,Z。Xu 9,Z。Xu 9,Z。Xu 9,Q. Yang 49,Q. Yang 49,Q. Q. Yang 49,Q. Yang Yang 49。 ,S。Yang 6,Yang 37,Z. Yang 11,Z.是45,Z.是12,L。Yi 49,K。Yif 6,H。Zbroszczyk 62,W。Zha 48,W。Zha 48,W。Zha 11,D。Zhang 11,D。Zhang 11,S。Zhang 48,S。Zhang 48,S。 x。 31,M。Zyzak 17