超维度计算(HDC)已成为具有较小的计算和能量需求的新型轻质学习算法。在HDC中,数据点由高维矢量(高向量)表示,这些矢量映射到高维空间(超空间)。典型地,需要大型的Hypervector维度(≥1000)才能获得与常规替代方案相当的精确度。但是,不一定的大型向量增加了硬件和能源成本,这可能会破坏其收益。本文提出了一种技术,可以最大程度地减少HyperVector维度,同时保持准确性并提高分类器的鲁棒性。为此,我们在文献中首次将HyperVector设计作为多目标优化问题。所采用的方法将HyperVector维度降低了32倍以上,同时维持或提高了常规HDC所达到的准确性。在商业硬件平台上进行的实验表明,所提出的方法可以减少模型大小,推理时间和能耗的数量级以上。我们还展示了噪声的准确性和鲁棒性之间的权衡,并提供帕累托前溶液作为我们HyperVector设计中的设计参数。
摘要 - 由人脑的工作方式吸引,急剧的高维计算(HDC)正在受到越来越多的关注。HDC是一种基于大脑的工作机理的新兴计算方案,该方案具有深层和抽象的神经活动模式而不是实际数字。与传统的ML算法(例如DNN)相比,HDC以内存为中心,授予其优势,例如相对较小的模型大小,较小的计算成本和一声学习,使其成为低成本计算平台中的有前途的候选人。但是,尚未系统地研究HDC模型的鲁棒性。在本文中,我们通过开发基于黑盒差异测试的框架来系统地揭示HDC模型的意外或不正确行为。我们利用具有与交叉引用甲环类似功能的多个HDC模型,以避免手动检查或标记原始输入。我们还提出了HDXplore中不同的扰动机制。HDXplore自动发现了HDC模型的数千种不正确的角案例行为。我们提出了两种重新训练机制,并使用HDXplore生成的角病例来重新培训HDC模型,我们可以将模型准确性提高高达9%。
超维度计算(HDC)是一种受脑启发的计算范式,可与高维矢量,高矢量,而不是数字一起使用。HDC用位,更简单的算术操作代替了几个复杂的学习组成,从而产生了更快,更节能的学习算法。但是,由于将数据映射到高维空间中,因此它是以增加数据的成本来处理的。虽然某些数据集可能几乎适合内存,但最终的过量向量通常无法存储在内存中,从而导致长期数据传输从存储中。在本文中,我们提出了节俭,这是一种存储计算(ISC)解决方案,该解决方案在整个闪存层次结构上执行HDC编码和训练。为了隐藏培训的延迟并启用有效的计算,我们介绍了HDC中的批处理概念。它使我们能够将HDC培训分为子组件并独立处理。我们还首次提出了HDC的芯片加速度,该加速器使用简单的低功率数字电路来实现闪光平面中的HDC编码。这使我们能够探索Flash层次结构提供的高内部并行性,并与可忽略不计的延迟开销并行编码多个数据点。节俭还实现了单个顶级FPGA加速器,该加速器进一步处理了从芯片中获得的数据。我们利用最先进的内部人ISC基础架构来扩展顶级加速器,并为节俭提供软件支持。节俭的人完全在存储中进行HDC培训,同时几乎完全隐藏了计算的延迟。我们对五个流行分类数据集的评估表明,节俭平均比CPU服务器快1612×。4×比最先进的ISC解决方案快4×,用于HDC编码和培训的内幕。
[DAC'19] M. Imani,J。Morris,J。Messerly,H。Shu,Y。Deng,T。Rosing,“ Bric:基于局部性的编码,用于节能脑启发性脑启发性高维度计算”,IEEE/ACM设计自动化会议(DAC),2019年。[DAC'18] M. Imani,C。Huang,D。Kong,T。Rosing,“用于节能分类的层次结构高维计算”,IEEE/ACM设计自动化会议(DAC),2018年。[日期19]
