摘要 — 低位宽量化神经网络 (QNN) 通过减少内存占用,支持在受限设备(如微控制器 (MCU))上部署复杂的机器学习模型。细粒度非对称量化(即,在张量基础上为权重和激活分配不同的位宽)是一种特别有趣的方案,可以在严格的内存约束下最大限度地提高准确性 [1]。然而,SoA 微处理器缺乏对子字节指令集架构 (ISA) 的支持,这使得很难在嵌入式 MCU 中充分利用这种极端量化范式。对子字节和非对称 QNN 的支持需要许多精度格式和大量的操作码空间。在这项工作中,我们使用基于状态的 SIMD 指令来解决这个问题:不是显式编码精度,而是在核心状态寄存器中动态设置每个操作数的精度。我们提出了一种基于开源 RI5CY 核心的新型 RISC-V ISA 核心 MPIC(混合精度推理核心)。我们的方法能够完全支持混合精度 QNN 推理,具有 292 种不同的操作数组合,精度为 16 位、8 位、4 位和 2 位,而无需添加任何额外的操作码或增加解码阶段的复杂性。我们的结果表明,与 RI5CY 上的基于软件的混合精度相比,MPIC 将性能和能效提高了 1.1-4.9 倍;与市售的 Cortex-M4 和 M7 微控制器相比,它的性能提高了 3.6-11.7 倍,效率提高了 41-155 倍。索引术语 —PULP 平台、嵌入式系统、深度神经网络、混合精度、微控制器
SEDA 衷心感谢以下组织为完成此路线图所做的宝贵贡献和投入:经济规划单位(EPU)、种植业及原产业部(MPIC)、房屋及地方政府部(KPKT)、砂拉越公用事业部(MoU)、州政府 - 州经济促进局(UPEN)、能源标准局(ST)、证券委员会(SC)、马来西亚投资发展局(MIDA)、国家固体废物管理局(JPSPN)、马来西亚棕榈油局(MPOB)、国家能源有限公司(TNB)、马来西亚半岛及沙巴单一买家(SB)、电网系统运营商(GSO)、沙巴电力有限公司(SESB)、砂拉越能源有限公司(SEB)、马来西亚光伏产业协会(MPIA)、马来西亚小型水电产业协会(MAHSIA)、马来西亚生物质工业联合会(MBIC)、马来西亚沼气协会、马来西亚天然气协会、可再生能源行业参与者和金融机构。
SEDA 衷心感谢以下组织为完成此路线图所做的宝贵贡献和投入:经济规划单位(EPU)、种植业及原产业部(MPIC)、房屋及地方政府部(KPKT)、砂拉越公用事业部(MoU)、州政府 - 州经济促进局(UPEN)、能源标准局(ST)、证券委员会(SC)、马来西亚投资发展局(MIDA)、国家固体废物管理局(JPSPN)、马来西亚棕榈油局(MPOB)、国家能源有限公司(TNB)、马来西亚半岛及沙巴单一买家(SB)、电网系统运营商(GSO)、沙巴电力有限公司(SESB)、砂拉越能源有限公司(SEB)、马来西亚光伏产业协会(MPIA)、马来西亚小型水电产业协会(MAHSIA)、马来西亚生物质产业联合会(MBIC)、马来西亚沼气协会、马来西亚天然气协会、可再生能源行业参与者和金融机构。