XiaoMi-AI文件搜索系统
World File Search System矩阵乘法
D4.1 应用领域和能力图 | Excellerat
2.1 参考应用程序第一个参考应用程序 Nek5000 (C1) [1] 是一个基于谱元法 (SEM) 的流体和传热求解器，具有悠久的开发历史。在 20 世纪 90 年代中期，它是第一个可用于分布式内存计算机的代码，并于 1999 年因算法质量和持续的并行性能而获得了戈登贝尔奖。良好的扩展属性是通过将基于 SEM 的域分解为一系列不相交的谱子域来实现的，这允许将全局算子分解为一组局部执行的密集矩阵-矩阵乘法，并结合通过直接刚度求和的通信步骤。这种域分解也可用于提高模拟的可靠性，因为可以在运行过程中动态修改域分解以最小化估计的计算误差。在 EXCELLERAT 中，KTH 将致力于 Nek5000 的开发，重点关注与 WP4 服务数量相对应的多个方面，例如：使用伴随算法（内在优化方法）进行自适应网格细化、不确定性量化（数值方法、数据缩减算法）、使用加速器（移植到新架构、节点级性能工程）或后处理数据缩减（现场可视化）。它涵盖了从预处理阶段开始的整个模拟周期，其中必须生成相对复杂几何的粗六边形网格（网格划分算法）。在模拟阶段，我们将专注于非一致网格的压力预处理器（数值方法）和通信内核（系统级性能工程）。
2202.07017.pdf
1. 简介 量子计算是一种利用量子现象进行计算的新范式。目前，有噪声中型量子 (NISQ) 计算机 [1] 的出现，加上量子计算霸权的最新进展 [2, 3]，人们对这些设备的兴趣日益浓厚，因为它们可以比传统机器更快地执行计算任务。在许多近期应用 [4, 5] 中，量子机器学习 (QML) [6, 7] 领域被认为是利用 NISQ 计算机的一种有前途的方法，包括应用于高能物理 [8, 9] 等不断发展的研究领域。如今，量子处理单元 (QPU) 基于两种主要方法。第一种方法基于量子电路和基于量子逻辑门的模型处理器，最流行的实现者是 Google [10]、IBM [11]、Rigetti [12] 或英特尔 [13]。第二种方法采用退火量子处理器，例如 D-Wave [14, 15] 等。这些设备的开发和量子优势的实现 [16] 表明，未来几年将发生计算技术革命。然而，在 QPU 技术发展的同时，我们仍然必须对量子计算进行经典模拟，这一直是量子研究的基石，以阐述新的算法和应用。从理论角度来看，它是测试和开发量子算法的基本工具，而从实验角度来看，它为基准和错误模拟提供了平台。基于电路的量子计算机可以使用薛定谔或费曼方法进行经典模拟 [17, 18]。前者基于跟踪完整量子态并通过专门的矩阵乘法程序应用门。后者受到费曼路径积分的启发，可用于通过对不同历史（路径）求和来计算最终状态的振幅。薛定谔的方法是内存密集型的，因为它需要存储完整的
受大脑启发的稀疏训练使 Transformers 和 LLM 能够像全连接模型一样运行
本研究旨在扩大我们目前对脑启发网络科学原理在训练具有稀疏连接的人工神经网络（ANN）中的应用的认识。动态稀疏训练（DST）可以减少ANN训练和推理的计算需求，但现有方法在高连接稀疏度水平下难以保持最佳性能。Cannistraci-Hebb训练（CHT）是一种受大脑启发的增加DST连接的方法。CHT利用无梯度、拓扑驱动的链接再生机制，与完全连接的网络相比，该机制已被证明可以在各种任务中实现超稀疏（1％连接或更低）的优势。然而，CHT有两个主要缺点：（i）它的时间复杂度为O（N·d3） - N节点网络大小，d节点度 - 因此它只能有效地应用于超稀疏网络。 (ii) 它严格选择最高的链接预测分数，这不适合早期的训练阶段，因为此时网络拓扑结构中存在许多不可靠的连接。在这里，我们提出了一个矩阵乘法 GPU 友好的 CH 链接预测器近似值，它将计算复杂度降低到 O(N3)，从而能够在大型模型中快速实现 CHT。此外，我们引入了 Cannistraci-Hebb 训练软规则 (CHTs)，它采用灵活的策略在链接移除和重新生长中采样连接，平衡网络拓扑的探索和利用。为了进一步提高性能，我们将 CHT 与 S 型逐渐密度衰减策略相结合，称为 CHTss。经验
可扩展的无 MatMul 语言建模 - Yu Zhang
矩阵乘法 (MatMul) 通常占据大型语言模型 (LLM) 总体计算成本的主导地位。随着 LLM 扩展到更大的嵌入维度和上下文长度，这一成本只会增长。在本研究中，我们证明了 MatMul 操作可以完全从 LLM 中消除，同时在十亿参数规模下保持强劲性能。我们的实验表明，我们提出的无 MatMul 模型的性能与最先进的 Transformer 相当，后者在推理过程中需要更大的内存，并且参数规模至少高达 27 亿。我们研究了缩放规律，发现我们的无 MatMul 模型与全精度 Transformer 之间的性能差距随着模型规模的增加而缩小。我们还提供了该模型的 GPU 高效实现，与未优化的基准相比，在训练期间可将内存使用量降低高达 61%。通过在推理过程中使用优化的内核，与未优化的模型相比，我们的模型的内存消耗可减少 10 倍以上。为了准确量化我们架构的效率，我们在 FPGA 上构建了一个定制的硬件解决方案，该解决方案充分利用了 GPU 无法处理的轻量级运算。我们以 13W 的功耗处理了数十亿参数规模的模型，其吞吐量远超人类可读的吞吐量，使 LLM 的效率更接近人脑的水平。这项工作不仅展示了 LLM 在保持高效性能的同时可以精简到何种程度，还指出了未来加速器在处理下一代轻量级 LLM 时应针对哪些类型的运算进行优化。我们的代码实现可在 https://github.com/ridgerchu/matmulfreellm 获取。
注意差距：张量算法的可实现数据运动和操作强度界限
摘要 - 建筑设计空间探索（或DSE）过程（无论是手动还是自动化），从事先了解感兴趣的指标的限制中很大程度上是有益的。数据流动由于对性能和能源效率的影响增加而迅速成为DSE的关键指标。不幸的是，数据移动的常用算法最小值（或“强制性错过”）极限非常松散，从而限制了其在设计空间搜索中的效用。在本文中，我们提出了一种量子算法来计算数据运动限制（或边界）的方法。与算法最小限制不同，Orojenesis理解了重用和缓冲区（例如缓存或SCRATCHPAD）的能力，以利用重复使用以减少数据移动。orijenesis提供了一个结合，即在不同的芯片缓冲区容量限制下不可能超过数据流或映射，包括映射将一系列张量操作融合以利用生产者 - 消费者的重复使用。orijenesis产生的图显示了缓冲区大小与较低的数据运动限制到内存层次结构中下一个级别的限制。此图被称为滑雪坡度图，允许设计师能够对工作负载的行为获得关键的见解，这是存储容量的函数。此分析可以在进行彻底的设计空间搜索之前为早期的高级设计决策提供信息。我们使用牙本质来分析一组有价值的张量算法，包括大语言模型（LLMS）中的批处理和分组矩阵乘法，卷积和操作序列。我们的分析揭示了一系列的建筑见解，包括可实现的数据移动可以是高度高于算法的最低限度的命令，即SRAM和计算资源提供最佳吞吐量之间的最佳位置，并且可以减少5.6倍数据移动，并与320毫米buffer lll一起融合。
用于量子计算的开源模块化框架
1. 简介 量子计算是一种利用量子现象进行计算的新范式。目前，有噪声中型量子 (NISQ) 计算机 [1] 已经面世，再加上量子计算霸权方面的最新进展 [2, 3]，人们对这些设备的兴趣日益浓厚，因为它们可以比传统机器更快地执行计算任务。在许多近期应用 [4, 5] 中，量子机器学习 (QML) [6, 7] 领域被认为是利用 NISQ 计算机的一种有前途的方法，包括应用于高能物理 [8, 9] 等不断发展的研究领域。如今，量子处理单元 (QPU) 基于两种主要方法。第一种方法基于量子电路和基于量子逻辑门的模型处理器，最流行的实现者是 Google [10]、IBM [11]、Rigetti [12] 或英特尔 [13]。第二种方法采用退火量子处理器，例如 D-Wave [14, 15] 等。这些设备的开发和量子优势的实现 [16] 表明，未来几年将发生计算技术革命。然而，在 QPU 技术发展的同时，我们仍然必须对量子计算进行经典模拟，这一直是量子研究的基石，以阐述新的算法和应用。从理论角度来看，它是测试和开发量子算法的基本工具，而从实验角度来看，它为基准和错误模拟提供了平台。基于电路的量子计算机可以使用薛定谔或费曼方法进行经典模拟 [17, 18]。前者基于跟踪完整量子态并通过专门的矩阵乘法程序应用门。后者受到费曼路径积分的启发，可用于通过对不同历史（路径）求和来计算最终状态的振幅。薛定谔的方法是内存密集型的，因为它需要存储完整的
混合模块冗余：探索 RISC-V 多核计算集群中的模块冗余方法，以实现太空中的可靠处理
航天器和卫星等空间信息物理系统 (S-CPS) 高度依赖机载计算机的可靠性来保证其任务的成功。仅依靠抗辐射技术成本极高，而开发不灵活的架构和微架构修改以在系统内引入模块冗余会导致面积显著增加和性能下降。为了减轻传统抗辐射和模块冗余方法的开销，我们提出了一种新颖的混合模块冗余 (HMR) 方法，该冗余方案以 RISC-V 处理器集群为特色，具有灵活的按需双核和三核锁步计算核心分组，具有运行时分锁功能。此外，我们提出了两种基于软件和基于硬件的恢复方法，以权衡性能和面积开销。我们的容错集群以 430 MHz 的速度运行，在非冗余模式下配置时，矩阵乘法基准测试中可实现高达 1160 MOPS，在双重和三重模式下分别可实现 617 和 414 MOPS。三重模式下的软件恢复需要 363 个时钟周期，占用 0.612 平方毫米，相当于非冗余 12 核 RISC-V 集群面积开销的 1.3%。作为一种高性能替代方案，一种新的基于硬件的方法可在短短 24 个时钟周期内提供快速故障恢复，占用 0.660 平方毫米，相当于基线非冗余 RISC-V 集群面积开销的 ∼ 9.4%。该集群还增强了分锁功能，可以以最小的性能损失进入可用的冗余模式之一，从而允许在独立模式下执行任务关键型代码部分，或在可靠性模式下执行性能部分，进入和退出的开销小于 400 个时钟周期。提议的系统是第一个将这些功能集成到基于 RISC-V 的开源计算设备上的系统，可实现精细可调的可靠性与性能权衡。
应用介绍性线性代数类应用项目
关于这本书。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.4 MATLAB简要介绍。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>5关于良好编程风格的建议。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>11项目概述。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。12项目1：MATLAB中具有矩阵的基本操作。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.13项目2：矩阵操作和图像操作。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。18项目3：矩阵乘法，反转和照片滤镜。。。。。。。。。。。。。。。。。。。。。。。。。。。。。24项目4：在MATLAB中求解线性系统。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。29项目5：线性方程式和大学橄榄球队排名（以Big 12为例）。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.34项目6：重新审视卷积，内部产品和图像处理。。。。。。。。。。。。。。。。。。。。。。40项目7：规范，角度和您的电影选择。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。44项目8：插值，外推和气候变化。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.49项目9：正交矩阵和3D图形。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.58项目10：离散的动态系统，平面的线性变换和混乱游戏。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。64项目11：项目，eigeriors，主要分析部分以及其他内容。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。70项目12：矩阵特征值和Google的Pagerank算法。。。。。。。。。。。。。。。。。。。。。。.74项目13：社交网络，聚类和特征值问题。。。。。。。。。。。。。。。。。。。。。。。。。。。.79项目14：奇异值分解和图像压缩。。。。。。。。。。。。。。。。。。。。。。。。。。85个附录。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。91参考。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。107
透明的导电氧化物和低氮损耗富含硅的硅波导，作为神经形态光子学的基础
简介神经形态计算是指试图模仿大脑信号处理的信号的方式[1]。与基于具有两个分离的内存和处理单元并以顺序操作的von Neumann架构的传统计算机相比[2]，大脑过程以并行方式[3，4]。，它在速度和能源效率方面提供了巨大的好处，因为数据传输是造成大部分功耗的原因。克服某些局限性的方法之一是开发可以改善信号处理的新算法[5，6]，但是，它仍然需要在内存和处理器之间进行数据传输和限制其效率。在处理这些限制的过程中，在网络中可以实施的人工神经元和突触的开发中，付出了很多努力[1]。基于光子学，即，神经形态光子学，可用光子作为信号载体，以在网络的不同部分之间传递信息[7-12]。多亏了几乎无限的带宽，与标准CMOS技术的兼容性以及几乎为零的功耗，可以进行基本的矩阵乘法，与神经态电子相比，它可以提供巨大的改进。可以通过以光速度在单个波导上将多个信号列入多个信号来实现完整的并行性。同时，光权重可以提供计算的低延迟。通过将这些优点结合起来，至少与电子同行相比，至少有很少的数量级改善。但是，实现此类任务的实现需要仍缺失的新材料平台和低损失体系结构。氮化硅（SIN）是光子整合电路（PIC）技术的普遍材料，因为它与标准CMOS过程兼容[13，14]。它允许在单个芯片上进行具有成本效益的设备和电子和光子组件的协整。此外，与其他材料相比，基于SIN平台的光子设备的特征是对温度漂移的容忍度更高，光学损耗和较低的波长范围操作，较大的波长透明度和改善的串扰值[14]。已经被证明是一个适当的材料平台，用于实现神经网络，表明自由度增加的是设计线性神经元[8，9]。因此，SIN平台可以作为神经形态光子学中的路由层起关键作用[9]。
2D 材料能否弥合神经形态之间的差距？
神经形态计算广义上指使用非冯·诺依曼体系结构来模拟人脑的学习过程。术语“冯·诺依曼体系结构”表示任何存储程序计算机，由于它们共享一条公共总线，因此获取指令和数据操作可能不会同时发生，从而导致“冯·诺依曼瓶颈”，即在单独的内存和计算块之间进行耗能和耗时的数据传输。这种瓶颈限制了计算系统执行数据密集型任务的能力，随着现代机器学习模型的出现，对数据密集型任务的需求只会越来越大。此外，最近的一份报告显示，在“过度参数化模式”下运行的高度复杂的神经网络不会对训练数据中的虚假趋势进行过度拟合，而是比复杂度较低的神经网络对未知数据表现出更好的泛化能力 [ 1 ]，这促使模型参数数量自 2015 年以来逐年呈指数增长，训练数据集的大小自 1988 年以来也呈指数增长 [ 2 , 3 ]。具体来说，过去十年见证了从 ResNet-50（> 10 7 个模型参数）到生成式预训练 Transformer 3（GPT-3）（> 10 11 个模型参数）的模型，以及从 ImageNet（~10 6 张图像）到 JFT-3B（> 10 9 幅图像）的数据集。通过克服电子通信、时钟、热管理和电力输送方面的瓶颈 [2]，神经形态系统带来了可扩展硬件的希望，可以跟上深度神经网络的指数增长，从而让我们定义了神经形态计算的第一个主要方向：“加速”。那些关注加速的神经形态系统是为了提高现有机器学习模型的速度和能效而构建的，并且往往会产生相对直接的影响。一个常见的例子是深度神经网络前向传递中用于向量矩阵乘法 (VMM) 的交叉阵列。相比之下，我们将神经形态计算的第二个主要目标定义为“实现”，即在非冯·诺依曼架构中实现人类神经生物学功能。第二个目标的影响将比第一个目标更滞后，但代表了下一代机器学习模型的硬件实现，在脉冲神经网络 (SNN)、赫布学习和霍奇金-赫胥黎神经元模型领域取得了进展。