XiaoMi-AI文件搜索系统
World File Search System超维
HOSHI Takeo PM“通过超维状态工程实现回溯数字系统”
项目概要 该项目将构建一个数字平台和虚拟实验室（V-Lab），以便在数字空间中设计和测试利用聚变反应发电和其他各种用途的聚变能系统的性能。为了在数字空间中重现等离子体（电离气体）的状态以及聚变能系统中组件的复杂性和时空尺度（时间和空间范围），我们将定义一个新的“超维数据空间”（图 1），它结合了时间轴、空间（坐标）轴、速度轴、物理量等。我们将建立结合该空间独特属性的计算方法。此外，为了将这些计算方法应用于“超维状态工程”，我们将开发前所未有的创新型 AI/数据驱动科学技术。通过这样做，我们将构建一个 V-Lab，可以在数字空间中进行聚变能系统的实验，从而能够在数字空间中对下一代聚变能系统的元素和整个系统进行性能预测（未来预测）（图 2）。本项目旨在大幅减少现实空间中耗费大量时间和成本的试错过程（开发和测试原型）。通过这样做，我们寻求实现各种聚变能源系统的早期社会应用和降低成本，最终致力于实现由聚变能源驱动的社会。
基于忆阻片上系统的超维计算硬件-算法协同设计
超维计算 (HDC) 采用并行计算范式和高效学习算法，非常适合资源受限的人工智能 (AI) 应用，例如边缘设备。基于忆阻设备的内存计算 (IMC) 系统通过提供节能硬件解决方案对此进行了补充。为了充分利用忆阻 IMC 硬件和 HDC 算法的优势，我们提出了一种硬件算法协同设计方法，用于在忆阻片上系统 (SoC) 上实现 HDC。在硬件方面，我们利用忆阻交叉开关阵列固有的随机性进行编码，并采用模拟 IMC 进行分类。在算法层面，我们开发了硬件感知编码技术，将数据特征映射到超维向量中，从而优化了忆阻 SoC 内的分类过程。硬件实验结果表明语言分类任务的准确率为 90.71%，凸显了我们的方法在边缘设备上实现节能 AI 部署的潜力。
具有类脑神经适应能力的稳健且可扩展的超维计算
一、问题和动机物联网 (IoT) 促进了许多利用基于边缘的机器学习 (ML) 方法来分析本地收集的数据的应用。不幸的是，流行的 ML 算法通常需要超出当今物联网设备能力的密集计算。受大脑启发的超维计算 (HDC) 已被引入以解决这个问题。然而，现有的 HDC 使用静态编码器，需要极高的维数和数百次训练迭代才能达到合理的准确度。这导致了巨大的效率损失，严重阻碍了 HDC 在物联网系统中的应用。我们观察到一个主要原因是现有 HDC 的编码模块缺乏利用和适应训练期间学习到的信息的能力。相比之下，如图 1(a) 所示，人类大脑中的神经元一直在动态再生，并在学习新信息时提供更有用的功能 [1]。虽然 HDC 的目标是利用随机生成的基础超向量的高维性来将信息表示为神经活动的模式，但现有的 HDC 仍然很难支持与大脑神经再生类似的行为。在这项工作中，我们提出了动态 HDC 学习框架，可以识别和再生不需要的维度，以在显著降低维数的情况下提供足够的准确性，从而加速训练和推理。 II. 背景和相关工作 A. 物联网和基于边缘的学习 许多新颖的框架和库已经开发出来，以在资源受限的计算平台上定制流行的 ML 算法，包括 TinyML [2]、TensorFlow Lite [3]、edge-ml [4]、X-Cube-AI [5] 等。然而，这些学习方法通常需要大量的训练样本和多个训练周期，超出了当今物联网设备的能力。同时，利用目标平台的学习结构和特性，研究人员提出了许多提高基于边缘的学习效率的技术，例如分割计算 [6]、联邦学习 [7]、[8]、知识蒸馏 [9]。这些技术与我们的方法正交，可以与我们的方法集成，以进一步提高学习性能。
Adversarial-HD：面向安全工业物联网的超维计算对抗攻击设计
工业物联网 (IIoT) 是传感器、网络设备和设备协作收集工业操作数据。由于互联互通和计算能力有限，IIoT 系统存在许多安全漏洞。基于机器学习的入侵检测系统 (IDS) 是一种可能的安全方法，它可以持续监控网络数据并以自动方式检测网络攻击。超维 (HD) 计算是一种受大脑启发的 ML 方法，它足够准确，同时非常稳健、快速且节能。基于这些特性，HD 可以成为 IIoT 系统的一种基于 ML 的 IDS 解决方案。然而，它的预测性能会受到输入数据中微小扰动的影响。为了充分评估 HD 的漏洞，我们提出了一种有效的面向 HD 的对抗性攻击设计。我们首先选择最多样化的攻击集以最小化开销，并消除对抗性冗余。然后，我们执行实时攻击选择，找出最有效的攻击。我们在真实的 IIoT 入侵数据集上进行的实验证明了我们攻击设计的有效性。与最有效的单一攻击相比，我们的设计策略可以将攻击成功率提高高达 36%，𝐹 1 分数提高高达 61%。
超维计算（又称向量符号架构）调查，第二部分：应用、认知模型和挑战
值得注意的是，本调查中引用的一些文献可能很难找到；但是，大多数文献可以通过 https://www.hd-computing.com/publications 上的在线出版物列表进行查找。Denis Kleyko 和 Dmitri Rachkovskij 对这项工作做出了同等贡献。DK 的工作得到了欧盟“地平线 2020”计划下玛丽居里个人奖学金 (839179) 的支持。DK 的工作还得到了 AFOSR FA9550-19-1-0241 和英特尔 THWAI 计划的部分支持。 DAR 的工作部分得到了乌克兰国家科学院（拨款编号 0120U000122、0121U000016、0122U002151 和 0117U002286）、乌克兰教育和科学部（拨款编号 0121U000228 和 0122U000818）以及瑞典战略研究基金会 (SSF，拨款编号 UKR22-0024) 的支持。作者地址：D. Kleyko，加州大学伯克利分校，美国加利福尼亚州伯克利市，邮编 94720，瑞典研究机构，瑞典希斯塔，邮编 16440；电子邮箱：denkle@berkeley.edu； D. Rachkovskij，国际信息技术研究与培训中心，乌克兰基辅，03680，吕勒奥理工大学，瑞典吕勒奥，97187；电子邮件：dar@infrm.kiev.ua；E. Osipov，吕勒奥理工大学，瑞典吕勒奥，97187；电子邮件：evgeny.osipov@ltu.se；A. Rahimi，IBM Research–Zurich，瑞士苏黎世，8803；电子邮件：abr@zurich.ibm.com。允许免费复制或复印本作品的全部或部分以供个人或课堂使用，但不得出于营利或商业目的而复制或分发，且复制件首页必须注明此声明和完整引文。必须尊重 ACM 以外的其他人拥有的本作品组成部分的版权。允许以署名形式发表摘要。以其他方式复制、重新发布、发布到服务器或重新分发到列表，需要事先获得特定许可和/或付费。请向 permissions@acm.org 申请许可。© 2023 计算机协会。
ScaleHD：通过自适应缩放实现强大的大脑启发式超维计算
受大脑启发的超维计算 (HDC) 在机器人、生物医学信号分析和自然语言处理等各种认知任务中表现出良好的能力。与深度神经网络相比，HDC 模型具有轻量级模型和一次性/少次学习能力等优势，使其成为传统资源密集型深度学习模型的有前途的替代范式，尤其是在资源有限的边缘设备中。尽管 HDC 越来越受欢迎，但尚未对 HDC 模型的鲁棒性和增强 HDC 鲁棒性的方法进行系统分析和充分研究。HDC 依靠称为超向量 (HV) 的高维数值向量来执行认知任务，HV 中的值对于 HDC 模型的鲁棒性至关重要。我们提出了 ScaleHD，一种自适应缩放方法，可以缩放 HDC 模型的联想记忆中的 HV 值，以增强 HDC 模型的鲁棒性。我们提出了三种不同的ScaleHD模式，包括Global-ScaleHD、Class-ScaleHD和(Class+Clip)-ScaleHD，它们基于不同的自适应缩放策略。结果表明，ScaleHD能够将HDC对内存错误的鲁棒性提高到10,000𝑋。此外，我们利用增强的HDC鲁棒性，通过电压缩放方法节省能源。实验结果表明，ScaleHD可以将HDC内存系统的能耗降低高达72.2%，而准确度损失不到1%。
受大脑启发的超维计算，实现超高效的边缘 AI
摘要 — 超维计算 (HDC) 正在迅速成为传统深度学习算法的有吸引力的替代方案。尽管深度神经网络 (DNN) 在许多领域取得了巨大的成功，但它们在训练期间所需的计算能力和存储空间使得将它们部署在边缘设备中非常具有挑战性，甚至不可行。这反过来不可避免地需要将数据从边缘传输到云端，这在可用性、可扩展性、安全性和隐私方面引发了严重的担忧。此外，边缘设备通常从传感器接收的数据本质上是有噪声的。然而，DNN 算法对噪声非常敏感，这使得以高精度完成所需的学习任务变得非常困难。在本文中，我们旨在全面概述 HDC 的最新进展。HDC 旨在通过使用更接近人脑的策略来实现实时性能和稳健性。事实上，HDC 的动机是人类大脑在高维数据表示上运行的观察。在 HDC 中，对象被编码为具有数千个元素的高维向量。在本文中，我们将讨论 HDC 算法对噪声的良好鲁棒性以及从少量数据中学习的能力。此外，我们将介绍 HDC 与冯·诺依曼架构之外的出色协同作用，以及 HDC 如何通过其所需的超轻量级实现为边缘高效学习打开大门，这与传统 DNN 不同。索引术语 — 超维计算、嵌入式系统、节能计算、对抗性攻击、电压调节、内存计算、安全、图形、机器人、计算机视觉
EventHD：稳健而高效的超维学习......
在稳健性和能源效率方面，受大脑启发的计算模型已显示出超越当今深度学习解决方案的巨大潜力。特别是，超维计算 (HDC) 在实现高效和稳健的认知学习方面显示出了良好的效果。在这项工作中，我们利用 HDC 作为一种替代计算模型，模仿重要的大脑功能，实现高效和耐噪的神经形态计算。我们提出了 EventHD，这是一个基于 HDC 的端到端学习框架，用于从神经形态传感器进行稳健、高效的学习。我们首先引入一种空间和时间编码方案，将基于事件的神经形态数据映射到高维空间。然后，我们利用 HDC 数学来支持对编码数据的学习和认知任务，例如信息关联和记忆。EventHD 还为每个预测提供了置信度概念，从而能够从未标记的数据中进行自我学习。我们评估了 EventHD 对从动态视觉传感器 (DVS) 收集的数据的效率。我们的结果表明，EventHD 可以在原始 DVS 数据上进行操作时提供在线学习和认知支持，而无需使用昂贵的预处理步骤。在效率方面，EventHD 比最先进的学习算法快 14.2 倍，能效高 19.8 倍，同时将计算稳健性提高了 5.9 倍。
神经启发式超维分类，实现高效、稳健的生物信号处理
摘要 生物信号由多个收集时间序列信息的传感器组成。由于时间序列包含时间依赖性，现有的机器学习算法很难处理它们。超维计算（HDC）作为一种受大脑启发的轻量级时间序列分类范例被引入。然而，现有的 HDC 算法存在以下缺点：（1）线性超维表示导致分类准确率低，（2）由于操作昂贵且不利于硬件而缺乏实时学习支持，以及（3）无法从部分标记数据建立强大的模型。在本文中，我们提出了 TempHD，一种用于高效和准确生物信号分类的新型超维计算方法。我们首先开发一种新型非线性超维编码，将数据点映射到高维空间。与使用昂贵数学进行编码的现有 HDC 解决方案不同，TempHD 在将数据映射到高维空间之前保留了原始空间中数据的时空信息。为了获得最具信息量的表示，我们的编码方法考虑了空间传感器和时间采样数据之间的非线性相互作用。我们的评估表明，TempHD 提供了更高的分类准确度、显著更高的计算效率，更重要的是，它能够从部分标记的数据中学习。我们评估了 TempHD 对用于脑机接口的嘈杂 EEG 数据的有效性。我们的结果表明，与最先进的 HDC 算法相比，TempHD 的分类准确度平均提高了 2.3%，训练和测试时间分别提高了 7.7 倍和 21.8 倍。