[DAC'19] M. Imani,J。Morris,J。Messerly,H。Shu,Y。Deng,T。Rosing,“ Bric:基于局部性的编码,用于节能脑启发性脑启发性高维度计算”,IEEE/ACM设计自动化会议(DAC),2019年。[DAC'18] M. Imani,C。Huang,D。Kong,T。Rosing,“用于节能分类的层次结构高维计算”,IEEE/ACM设计自动化会议(DAC),2018年。[日期19]
摘要 - 由人脑的工作方式吸引,急剧的高维计算(HDC)正在受到越来越多的关注。HDC是一种基于大脑的工作机理的新兴计算方案,该方案具有深层和抽象的神经活动模式而不是实际数字。与传统的ML算法(例如DNN)相比,HDC以内存为中心,授予其优势,例如相对较小的模型大小,较小的计算成本和一声学习,使其成为低成本计算平台中的有前途的候选人。但是,尚未系统地研究HDC模型的鲁棒性。在本文中,我们通过开发基于黑盒差异测试的框架来系统地揭示HDC模型的意外或不正确行为。我们利用具有与交叉引用甲环类似功能的多个HDC模型,以避免手动检查或标记原始输入。我们还提出了HDXplore中不同的扰动机制。HDXplore自动发现了HDC模型的数千种不正确的角案例行为。我们提出了两种重新训练机制,并使用HDXplore生成的角病例来重新培训HDC模型,我们可以将模型准确性提高高达9%。
Amrouch H,Genssler P,Imani M,Issa M,Jiao X,Mohammed W,Sepanta G,Wang R,“超越冯·诺伊曼时代:脑启发脑启发到救援的高维度计算”,亚洲和南太平洋设计自动化会议(ASP-DAC),2023.
超维度计算(HDC)已成为具有较小的计算和能量需求的新型轻质学习算法。在HDC中,数据点由高维矢量(高向量)表示,这些矢量映射到高维空间(超空间)。典型地,需要大型的Hypervector维度(≥1000)才能获得与常规替代方案相当的精确度。但是,不一定的大型向量增加了硬件和能源成本,这可能会破坏其收益。本文提出了一种技术,可以最大程度地减少HyperVector维度,同时保持准确性并提高分类器的鲁棒性。为此,我们在文献中首次将HyperVector设计作为多目标优化问题。所采用的方法将HyperVector维度降低了32倍以上,同时维持或提高了常规HDC所达到的准确性。在商业硬件平台上进行的实验表明,所提出的方法可以减少模型大小,推理时间和能耗的数量级以上。我们还展示了噪声的准确性和鲁棒性之间的权衡,并提供帕累托前溶液作为我们HyperVector设计中的设计参数。
摘要本文采用量子机学习技术来通过使用一种称为量子储层计算(QRC)的方法来预测移动用户在移动无线网络中的传播。移动用户的轨迹预测属于时间信息处理的任务,这是一个移动性管理问题,对于自我组织和自主6G网络至关重要。我们的目标是使用QRC准确预测无线网络中移动用户的未来位置。为此,作者使用真正的世界时间序列数据集来建模移动用户的轨迹。QRC方法具有两个组件:储层计算(RC)和量子计算(QC)。在RC中,训练比简单复发性神经网络的训练更有效,因为在RC中,只有输出层的权重才能训练。RC的内部部分是所谓的储层。为了使RC表现良好,应仔细选择储层的权重以创建高度复杂和非线性动力学。QC用于创建这种动态储层,该储层将输入时间序列映射到由动态状态组成的较高维度计算空间中。获得高维动力状态后,进行简单的线性回归以训练输出权重,因此,可以有效地对移动用户轨迹的预测进行有效形成。在这项研究中,我们根据量子系统的哈密顿时间演变采用QRC方法。作者使用基于IBM Gate的量子计算机模拟了时间演变,并且在实验结果中,它们表明,使用QRC仅使用少数量子器来预测移动用户的轨迹是有效的,并且可以超过经典方法,例如长期短期内存方法和echo -echo state网络接近。
超维度计算(HDC)是一种受脑启发的计算范式,可与高维矢量,高矢量,而不是数字一起使用。HDC用位,更简单的算术操作代替了几个复杂的学习组成,从而产生了更快,更节能的学习算法。但是,由于将数据映射到高维空间中,因此它是以增加数据的成本来处理的。虽然某些数据集可能几乎适合内存,但最终的过量向量通常无法存储在内存中,从而导致长期数据传输从存储中。在本文中,我们提出了节俭,这是一种存储计算(ISC)解决方案,该解决方案在整个闪存层次结构上执行HDC编码和训练。为了隐藏培训的延迟并启用有效的计算,我们介绍了HDC中的批处理概念。它使我们能够将HDC培训分为子组件并独立处理。我们还首次提出了HDC的芯片加速度,该加速器使用简单的低功率数字电路来实现闪光平面中的HDC编码。这使我们能够探索Flash层次结构提供的高内部并行性,并与可忽略不计的延迟开销并行编码多个数据点。节俭还实现了单个顶级FPGA加速器,该加速器进一步处理了从芯片中获得的数据。我们利用最先进的内部人ISC基础架构来扩展顶级加速器,并为节俭提供软件支持。节俭的人完全在存储中进行HDC培训,同时几乎完全隐藏了计算的延迟。我们对五个流行分类数据集的评估表明,节俭平均比CPU服务器快1612×。4×比最先进的ISC解决方案快4×,用于HDC编码和培训的内幕。
摘要 - 脑启发的超维度计算(HDC),也称为矢量符号结构(VSA),是一种急剧的“非von neumann”计算方案,该方案模仿人脑功能以处理信息或使用抽象和高维模式来处理信息或执行学习任务。与深神经网络(DNN)相比,HDC显示出诸如紧凑的模型大小,能量效率和少量学习的优势。尽管有这些优势,但HDC的一个不足的区域是对抗性的鲁棒性。现有的作品表明,HDC容易受到对抗性攻击的攻击,在这种攻击中,攻击者可以在原始输入中添加少量扰动到“傻瓜” HDC模型,从而产生错误的预测。在本文中,我们通过开发一种系统的方法来测试和增强HDC对对抗性攻击的鲁棒性,系统地研究HDC的对抗性鲁棒性,并具有两个主要成分:(1)TestHD,这是一种可以为给定的HDC模型生成高素质高素质的测试工具,该工具可以为给定的HDC模型生成高素质的高素质数据; (2)GuardHD,它利用TestHD生成的对抗数据来增强HDC模型的对抗性鲁棒性。testHD的核心思想建立在模糊测试方法之上。我们通过提出基于相似性的覆盖率度量来定制模糊方法,以指导TestHD连续突变原始输入,以生成可能触发HDC模型不正确行为的新输入。由于使用差异测试,TestHD不需要事先知道样品的标签。为了增强对抗性鲁棒性,我们设计,实施和评估GuardHD以捍卫HDC模型免受对抗数据的影响。GuardHD的核心思想是一种对抗探测器,可以通过测试HDD生成的对抗样本训练。在推断期间,一旦检测到对抗样本,GuardHD将用“无效”信号覆盖词典结果。我们评估了4个数据集和5个对抗性攻击方案的提议方法,具有6种对抗生成策略和2种防御机制,并相应地比较了性能。GuardHD能够区分精度超过90%的良性和对抗性输入,比基于对抗性训练的基线高达55%。据我们所知,本文在系统地测试和增强对这种新兴脑启发的计算模型的对抗数据的鲁棒性方面提出了第一个全面的努力。索引术语 - 远程计算,差异绒毛测试,对抗攻击,强大的计算