摘要 — 在有限的芯片占用空间和能源供应下,边缘人工智能 (AI) 的快速发展对边缘设备的数据密集型神经网络 (NN) 计算和存储提出了很高的要求。作为一种有前途的节能处理方法,内存计算 (CiM) 近年来在缓解数据传输瓶颈的努力中得到了广泛的探索。然而,片上内存容量较小的 CiM 会导致昂贵的数据重新加载,限制了其在大规模 NN 应用中的部署。此外,先进 CMOS 缩放下增加的泄漏降低了能源效率。在本文中,采用基于铟镓锌氧化物 (IGZO) 薄膜晶体管 (TFT) 的器件电路协同来应对这些挑战。首先,提出了 4 晶体管 1 电容器 (4T1C) IGZO eDRAM CiM,其密度高于基于 SRAM 的 CiM,并且通过较低的器件泄漏和差分单元结构增强了数据保留。其次,利用新兴全通道 (CAA) IGZO 器件的后端 (BEOL) 兼容性和垂直集成,提出了 3D eDRAM CiM,为基于 IGZO 的超高密度 CiM 铺平了道路。提出了包括时间交错计算和差分刷新在内的电路技术,以保证大容量 3D CiM 下的准确性。作为概念验证,在代工厂低温多晶和氧化物 (LTPO) 技术下制造了一个 128 × 32 CiM 阵列,展示了高计算线性度和长数据保留时间。在扩展的 45nm IGZO 技术上的基准测试显示,仅阵列的能效为 686 TOPS/W,考虑外围开销时为 138 TOPS/W。
• Atomic Mass Unit (amu) • AWS: Amazon Web Services • Bump Plating Photoresist (BPR) • Chip to Wafer (CtW) • CL: Confidence Level • CMOS: Complementary metal-oxide semiconductor • Commercial Off The Shelf (COTS) • Complementary Field Effect Transistor (CFET) • ConOps: Concept of Operations • continuous wave (CW) • DDD: Displacement Damage Dose •设计技术合作/合成技术合作选择(DTCO/STCO)•动态随机访问记忆(DRAM)•EDAC:错误检测和校正•EEEE•EEEE•EEEE:电气,电子,电子力学和电流和电流和电子光学和电力•嵌入式动态随机访问记忆(EDRAM)晶体管(FEFET)•铁电随机访问存储器(FERAM)•铁电隧道连接(FTJ)•FET:FET:现场效应晶体管•FPGA•FPGA:现场编程的门阵列•完全自我对齐(FSAV)•GrandAccélérateurNational d'ions d'ions d'ions d'Ions d'ions lourds lourds(Ganil)
摘要:我们将在AI硬件加速器的高速内存解决方案上介绍最近的进展。在这里,将类似TPU的数字收缩器阵列结构用于案例研究。重点放在全球缓冲区大容量(数十个MB)的创新上。全局缓冲液持有中间激活数据以及推理/训练期间的重量数据,因此,快速和低功率写入/阅读操作都需要足够的耐力和要求的保留率较小。为了满足此类需求,获得基于细胞的EDRAM,铁电记忆和STT/SOT-MRAM是引人入胜的候选者,并且在领先逻辑之上的单片3D Beol集成提供了许多前景。Bio:Shimeng Yu目前是佐治亚理工学院电气和计算机工程副教授。他获得了学士学位2009年北京大学微电子学位,M.S. 学位和博士学位。斯坦福大学分别于2011年和2013年获得电气工程学位。 从2013年到2018年,他是亚利桑那州立大学的助理教授。 YU教授的研究兴趣是用于节能计算系统的半导体设备和集成电路。 他的研究专业知识是针对深度学习加速器,内存计算,3D集成和硬件安全等应用的新兴的非易失性记忆。 他正在为IEEE电子设备字母(EDL)提供编辑。 他是IEEE的高级成员。2009年北京大学微电子学位,M.S.学位和博士学位。斯坦福大学分别于2011年和2013年获得电气工程学位。从2013年到2018年,他是亚利桑那州立大学的助理教授。YU教授的研究兴趣是用于节能计算系统的半导体设备和集成电路。 他的研究专业知识是针对深度学习加速器,内存计算,3D集成和硬件安全等应用的新兴的非易失性记忆。 他正在为IEEE电子设备字母(EDL)提供编辑。 他是IEEE的高级成员。YU教授的研究兴趣是用于节能计算系统的半导体设备和集成电路。他的研究专业知识是针对深度学习加速器,内存计算,3D集成和硬件安全等应用的新兴的非易失性记忆。他正在为IEEE电子设备字母(EDL)提供编辑。他是IEEE的高级成员。Among Prof. Yu's honors, he was a recipient of NSF Faculty Early CAREER Award in 2016, IEEE Electron Devices Society (EDS) Early Career Award in 2017, ACM Special Interests Group on Design Automation (SIGDA) Outstanding New Faculty Award in 2018, Semiconductor Research Corporation (SRC) Young Faculty Award in 2019, IEEE Circuits and Systems Society (CASS) Distinguished讲师和IEEE电子设备协会(EDS)杰出讲师等。Prof. Yu has served on many premier conferences as technical program committee member, including IEEE International Electron Devices Meeting (IEDM), IEEE Symposium on VLSI Technology and Circuits, IEEE International Reliability Physics Symposium (IRPS), ACM/IEEE Design Automation Conference (DAC), ACM/IEEE Design, Automation & Test in Europe (DATE), ACM/IEEE International Conference on计算机辅助设计(ICCAD)等。