摘要 — 近年来,受脑启发的超维计算 (HDC) 在医疗诊断、人类活动识别和语音分类等广泛应用中展示了良好的性能。尽管 HDC 越来越受欢迎,但其以内存为中心的计算特性使得联想内存实现由于海量数据的存储和处理而能耗巨大。在本文中,我们提出了一个系统的案例研究,利用 HDC 的应用级错误恢复能力,通过电压调节来降低 HDC 联想内存的能耗。对各种应用的评估结果表明,我们提出的方法可以在联想内存上节省 47.6% 的能耗,而准确度损失不超过 1%。我们进一步探索了两种低成本的错误屏蔽方法:字屏蔽和位屏蔽,以减轻电压调节引起的错误的影响。实验结果表明,提出的字屏蔽(位屏蔽)方法可以进一步提高节能效果,最高可达 62.3%(72.5%),准确度损失不超过 1%。
硕士研究生(2013-2014)Yin Bangqi新加坡设计与麻省理工学院(2013-2014)Aditya Ranjan新加坡技术与设计与MIT大学(2016-2017)WU TONG MONASH大学(2018-2018-2018-2018-2020)Liu Sheng Sheng Sheng Electronics Designitute(2018-2020-220)加入了Shaoyin Tech。(2020-2023)冯·施豪(Rveng Shihao)加入了Rvbust Tech。(2020年至2023年)郭尤辛加入了香港公共服务部(2021-2024)Jie Yu Master Class of 2024(2021-2024)Jiang Bingfa Master Class of 2024 of 2024(2021-2021-2025) (2022-2025)Xu Ronghan Master Class 2025(Robocon Sustech的团队负责人)(2023-2026)Huang Bangchao Master Class of 2026
在稳健性和能源效率方面,受大脑启发的计算模型已显示出超越当今深度学习解决方案的巨大潜力。特别是,超维计算 (HDC) 在实现高效和稳健的认知学习方面显示出了良好的效果。在这项工作中,我们利用 HDC 作为一种替代计算模型,模仿重要的大脑功能,实现高效和耐噪的神经形态计算。我们提出了 EventHD,这是一个基于 HDC 的端到端学习框架,用于从神经形态传感器进行稳健、高效的学习。我们首先引入一种空间和时间编码方案,将基于事件的神经形态数据映射到高维空间。然后,我们利用 HDC 数学来支持对编码数据的学习和认知任务,例如信息关联和记忆。EventHD 还为每个预测提供了置信度概念,从而能够从未标记的数据中进行自我学习。我们评估了 EventHD 对从动态视觉传感器 (DVS) 收集的数据的效率。我们的结果表明,EventHD 可以在原始 DVS 数据上进行操作时提供在线学习和认知支持,而无需使用昂贵的预处理步骤。在效率方面,EventHD 比最先进的学习算法快 14.2 倍,能效高 19.8 倍,同时将计算稳健性提高了 5.9 倍。
摘要 — 超维计算 (HDC) 已成为深度神经网络的替代轻量级学习解决方案。HDC 的一个关键特性是高度并行,可以促进硬件加速。然而,以前的 HDC 硬件实现很少关注 GPU 设计,这也导致效率低下,部分原因是在 GPU 上加速 HDC 的复杂性。在本文中,我们提出了 OpenHD,这是一个灵活且高性能的 GPU 驱动框架,用于自动将包括分类和聚类在内的一般 HDC 应用程序映射到 GPU。OpenHD 利用专门针对 HDC 的内存优化策略,最大限度地缩短对不同内存子系统的访问时间,并消除冗余操作。我们还提出了一种新颖的训练方法,以实现 HDC 训练中的数据并行性。我们的评估结果表明,所提出的训练方法可以快速达到目标准确率,将所需的训练周期减少了 4 × 。借助 OpenHD,用户无需领域专家知识即可部署 GPU 加速的 HDC 应用程序。与最先进的 GPU 驱动的 HDC 实现相比,我们在 NVIDIA Jetson TX2 上的评估表明,OpenHD 在基于 HDC 的分类和聚类方面分别快了 10.5 倍和 314 倍。与 GPU 上的非 HDC 分类和聚类相比,由 OpenHD 驱动的 HDC 在准确度相当的情况下快了 11.7 倍和 53 倍。
摘要 — 受大脑启发的超维 (HD) 计算是一种模拟高维空间中神经元活动的新型计算范式。HD 计算的第一步是将每个数据点映射到高维空间(例如 10,000)。这带来了几个问题。例如,数据量可能会激增,所有后续操作都需要在 D = 10,000 维中并行执行。先前的工作通过模型量化缓解了这个问题。然后可以将 HV 存储在比原始数据更小的空间中,并且可以使用较低位宽的操作来节省能源。然而,先前的工作将所有样本量化为相同的位宽。我们提出了 AdaptBit-HD,一种用于加速 HD 计算的自适应模型位宽架构。当可以使用更少的位来找到正确的类时,AdaptBit-HD 一次一位地对量化模型的位进行操作以节省能源。借助 AdaptBit-HD,我们可以在必要时利用所有位来实现高精度,并在设计对输出有信心时终止较低位的执行,从而实现高能效。我们还为 AdaptBit-HD 设计了一个端到端 FPGA 加速器。与 16 位模型相比,AdaptBit-HD 的能效提高了 14 倍;与二进制模型相比,AdaptBit-HD 的精度提高了 1.1%,与 16 位模型的精度相当。这表明 AdaptBit-HD 能够实现全精度模型的精度,同时具有二进制模型的能效。
有人提出,机器学习技术可以从符号表示和推理系统中受益。我们描述了一种方法,其中可以通过使用超维向量和超维计算以自然而直接的方式将两者结合起来。通过使用哈希神经网络来生成图像的二进制向量表示,我们展示了如何构建超维向量,以便从其输出中自然产生向量符号推理。我们设计了超维推理层 (HIL) 来促进这一过程,并评估其与基线哈希网络相比的性能。除此之外,我们还表明,单独的网络输出可以直接在 HIL 中的向量符号级别融合,以提高整体模型的性能和稳健性。此外,据我们所知,这是第一次在真实数据上创建有意义的图像超维表示,同时仍保持超维性。
超维 (HD) 计算是计算机体系结构和理论神经科学交叉领域的一个新兴领域 [Kanerva, 2009]。它基于这样的观察:大脑能够使用以下电路执行复杂任务:(1) 功耗低、(2) 精度要求低、(3) 对数据损坏具有高度鲁棒性。HD 计算旨在将类似的设计原则延续到新一代数字设备中,这些设备具有很高的能效、容错能力,非常适合自然信息处理 [Rahimi et al. , 2018]。最近关于神经网络的大量研究也从大脑中汲取了灵感,但这些方法的现代实例已经偏离了上述要求。这些网络的成功取决于神经上不合理的选择,最明显的是显著的深度和通过反向传播进行的训练。此外,从实际角度来看,训练这些模型通常需要高精度和大量的能量。虽然大量文献试图通过神经网络改善这些问题,但这些努力大多是为了解决特定的性能限制。相比之下,上述属性
摘要 — 超维计算 (HDC) 正在迅速成为传统深度学习算法的有吸引力的替代方案。尽管深度神经网络 (DNN) 在许多领域取得了巨大的成功,但它们在训练期间所需的计算能力和存储空间使得将它们部署在边缘设备中非常具有挑战性,甚至不可行。这反过来不可避免地需要将数据从边缘传输到云端,这在可用性、可扩展性、安全性和隐私方面引发了严重的担忧。此外,边缘设备通常从传感器接收的数据本质上是有噪声的。然而,DNN 算法对噪声非常敏感,这使得以高精度完成所需的学习任务变得非常困难。在本文中,我们旨在全面概述 HDC 的最新进展。HDC 旨在通过使用更接近人脑的策略来实现实时性能和稳健性。事实上,HDC 的动机是人类大脑在高维数据表示上运行的观察。在 HDC 中,对象被编码为具有数千个元素的高维向量。在本文中,我们将讨论 HDC 算法对噪声的良好鲁棒性以及从少量数据中学习的能力。此外,我们将介绍 HDC 与冯·诺依曼架构之外的出色协同作用,以及 HDC 如何通过其所需的超轻量级实现为边缘高效学习打开大门,这与传统 DNN 不同。索引术语 — 超维计算、嵌入式系统、节能计算、对抗性攻击、电压调节、内存计算、安全、图形、机器人、计算机视觉
发表的论文,演讲结果:(国际会议的论文)•Kouki Otuka,Shingo Haruna,Yasumasa hasegawa,Hirono Kaneeyasu,“自旋敏感性和野外诱导的非独立超级负责性手性稳定性”,JPS。proc。:第29届低温物理国际会议论文集(LT29)38(1)011058-1-6(2023)。(由国内研究协会等发表的论文等)•iWamoto mutsuo,Isai Kouki,Haruna Shingo,Haruna Shingo,Kaneyasu Hirono,“连接系统中不均匀超导性的磁场引起的磁场引起的历史现象,”,由日本物理学学会提出,”•Haruna Shingo,Ogita Saiki,Nomura Takuji,Kaneyasu Hirono,“通过顶点校正UTE2扰动的超级传导稳定,UTE2中的现场排斥,”,日本物理学学会的收听摘要78(2)(2023)(2023)。(其他)•Koki Doi,Mutsuki Iwamoto,Shingo Haruna,Hirono Kaneeyasu,“超导体交界处的野外诱导的手性状态的滞后”,第10个国际f-召开的国际工场,关于F-Electrons的双重性质(Percter Rectorns off-Electrons tector)。