XiaoMi-AI文件搜索系统
World File Search SystemFP8
架构指令集扩展和未来功能
第 1 章 未来英特尔® 架构指令扩展和特性 1.1 关于本文档. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-1 1.2 未来处理器的 DisplayFamily 和 DisplayModel . . . . . . . . . . . . . . . . . . . . . . . . . . 1-1 1.3 Intel® 64 和 IA-32 处理器中的指令集扩展和特性介绍 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-4 1.5 EVEX 中的压缩位移（disp8*N）支持 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1-55 1.6 bfloat16 浮点格式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ................. ... 1-57 1.7.2 浮点舍入、非规范处理、NaN/Inf/溢出处理和浮点异常 . . 1-57
编程参考
第1章FutureIntel®体系结构指令扩展和功能1.1关于本文档。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。1-1 1.2 DisplayFamily和DisplayModel用于将来的处理器。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。1-1 1.3指令集扩展名和特征介绍在Intel®64和IA-32处理器中。。。。。。。。。1-2 1.4检测未来的说明和功能。。。。。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>1-4 CPUID-CPU识别。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 1-4 1.5压缩显示（DESC8 * n）EVEX中的支持。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div> 。 div>1-4 CPUID-CPU识别。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>1-4 1.5压缩显示（DESC8 * n）EVEX中的支持。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>。 div>1-55 1.6 Bfloat16浮点格式。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。1-56 1.7 FP8格式。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。1-56 1.7.1数字定义。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。1-57 1.7.2浮点舍入，否定型，NAN/INF/OVERFLOW处理和FP例外。。1-57
NVIDIA HGX H100数据表
HGX H100系统中使用的NVIDIA H100 GPU具有变压器引擎，具有FP8 Precision，可为大型语言模型（例如GPT-3 175B）提供高达4倍的训练。The combination of fourth-generation NVLink, which offers 900GB/s of GPU-to-GPU interconnect, NVLink Switch System, which accelerates collective communication by every GPU across nodes, PCIe Gen5, and NVIDIA Magnum IO ™ software delivers efficient scalability, from small enterprises to massive, unified GPU clusters.这些基础架构与NVIDIA AI Enterprise Software Suite合作，使NVIDIA HGX H100成为最强大的端到端AI和HPC数据中心平台。
NVIDIA H100 Tensor Core GPU 架构
○ 与 A100 相比，新的第四代 Tensor Cores 的芯片间速度提高了 6 倍，包括每个 SM 的加速、额外的 SM 数量和 H100 的更高时钟频率。在每个 SM 的基础上，与上一代 16 位浮点选项相比，Tensor Cores 在等效数据类型上提供 2 倍的 A100 SM MMA（矩阵乘法累加）计算速率，使用新的 FP8 数据类型提供 4 倍的 A100 速率。Sparsity 功能利用深度学习网络中的细粒度结构化稀疏性，使标准 Tensor Core 操作的性能翻倍。○ 新的 DPX 指令使动态规划算法比 A100 GPU 加速高达 7 倍。两个示例包括用于基因组学处理的 Smith-Waterman 算法和用于在动态仓库环境中为机器人车队寻找最佳路线的 Floyd-Warshall 算法。○ 与 A100 相比，IEEE FP64 和 FP32 芯片间处理速度提高了 3 倍，这是由于每个 SM 的时钟对时钟性能提高了 2 倍，再加上 H100 的额外 SM 数量和更高的时钟。○ 新的线程块群集功能允许以大于单个 SM 上单个线程块的粒度对局部性进行编程控制。这通过在编程层次结构中添加另一个级别来扩展 CUDA 编程模型，现在包括线程、线程块、线程块群集和网格。集群支持跨多个 SM 同时运行的多个线程块同步并协作获取和交换数据。○ 新的异步执行功能包括一个新的张量内存加速器 (TMA) 单元，它可以在全局内存和共享内存之间非常高效地传输大块数据。TMA 还支持集群中线程块之间的异步复制。还有一个新的异步事务屏障，用于执行原子数据移动和同步。● 新的 Transformer Engine 结合使用软件和定制的 Hopper Tensor Core 技术，专门用于加速 Transformer 模型训练和推理。Transformer Engine 可智能管理并动态选择 FP8 和 16 位计算，自动处理每层 FP8 和 16 位之间的重新转换和缩放，与上一代 A100 相比，在大型语言模型上提供高达 9 倍的 AI 训练速度和高达 30 倍的 AI 推理速度。● HBM3 内存子系统提供的带宽比上一代增加了近 2 倍。H100 SXM5 GPU 是世界上第一款配备 HBM3 内存的 GPU，可提供一流的 3 TB/秒内存带宽。● 50 MB L2 缓存架构可缓存大量模型和数据集以供重复访问，从而减少 HBM3 的访问次数。● 第二代多实例 GPU (MIG) 技术为每个 GPU 实例提供大约 3 倍的计算能力和近 2 倍的内存带宽
NVIDIA H100 Tensor Core GPU 架构
○ 与 A100 相比，新的第四代 Tensor Cores 芯片间速度提高了 6 倍，包括每个 SM 的加速、额外的 SM 数量和 H100 的更高时钟频率。与上一代 16 位浮点选项相比，在每个 SM 上，Tensor Cores 在等效数据类型上提供 A100 SM 的 2 倍 MMA（矩阵乘法累加）计算速率，在使用新的 FP8 数据类型时提供 A100 的 4 倍速率。稀疏性功能利用深度学习网络中的细粒度结构化稀疏性，使标准 Tensor Core 操作的性能翻倍。○ 新的 DPX 指令使动态规划算法比 A100 GPU 快 7 倍。两个例子包括用于基因组学处理的 Smith-Waterman 算法和用于在动态仓库环境中为机器人车队寻找最佳路线的 Floyd-Warshall 算法。 ○ 与 A100 相比，由于每个 SM 的时钟性能提高了 2 倍，再加上 H100 的额外 SM 数量和更高的时钟频率，因此芯片到芯片的 IEEE FP64 和 FP32 处理速度提高了 3 倍。○ 新的线程块群集功能允许以大于单个 SM 上单个线程块的粒度对局部性进行编程控制。这通过在编程层次结构中添加另一个级别来扩展 CUDA 编程模型，现在包括线程、线程块、线程块群集和网格。群集支持跨多个 SM 同时运行的多个线程块以同步并协作获取和交换数据。○ 新的异步执行功能包括一个新的张量内存加速器 (TMA) 单元，它可以在全局内存和共享内存之间非常高效地传输大块数据。TMA 还支持群集中线程块之间的异步复制。还有一个新的异步事务屏障，用于执行原子数据移动和同步。 ● 新型 Transformer Engine 结合使用软件和定制的 Hopper Tensor Core 技术，专门用于加速 Transformer 模型的训练和推理。Transformer Engine 可以智能地管理和动态地选择 FP8 和 16 位计算，自动处理每层 FP8 和 16 位之间的重新转换和缩放，与上一代 A100 相比，在大型语言模型上提供高达 9 倍的 AI 训练速度和高达 30 倍的 AI 推理速度。● HBM3 内存子系统提供的带宽比上一代增加了近 2 倍。H100 SXM5 GPU 是世界上第一款配备 HBM3 内存的 GPU，可提供一流的 3 TB/秒内存带宽。● 50 MB L2 缓存架构可缓存大量模型和数据集以供重复访问，从而减少对 HBM3 的访问。● 第二代多实例 GPU (MIG) 技术为每个 GPU 实例提供大约 3 倍的计算能力和近 2 倍的内存带宽
为无乘法器 GEMM 解锁价值级并行性
摘要 近年来，针对通用矩阵乘法 (GEMM) 优化的硬件架构已得到深入研究，以为深度神经网络提供更好的性能和效率。随着分批、低精度数据（例如本文中的 FP8 格式）的趋势，我们观察到值重用的未开发潜力越来越大。我们提出了一种新颖的计算范式，即值级并行，其中唯一的乘积只计算一次，不同的输入通过时间编码订阅（选择）它们的乘积。我们的架构 Carat 采用值级并行并将乘法转换为累积，使用高效的无乘法器硬件执行 GEMM。实验表明，平均而言，Carat 可将等面积吞吐量和能源效率提高 1.02 ⇥ 和 1.06 ⇥（相对于脉动阵列）以及 3.2 ⇥ 和 4 ⇥。 3⇥当扩展到多个节点时。
市场上的市场
•DeepSeek似乎比其他前沿模型更有效地训练了45倍的型号。清楚，DeepSeek的大多数方法已经存在。这是最大的成就：面对筹码禁令，弄清楚如何立即部署它们，并介绍其自身的自我增强学习•专家的混合：GPT-3.5使用其整个模型来解决培训和推理，尽管可能只需要一小部分模型。相比之下，GPT-4和DeepSeek是专家（MOE）模型的混合物，它们仅激活解决每个问题所需的模型的各个部分。DeepSeek V3的参数为6,710亿个，但在任何给定时间中只有370亿个活动•MLA是指“多头潜能”，这是对DeepSeek保持较小的存储器的行话，而在运行的过程中，•其他deepseek效率方法在运行•与BF16或FP3精确的过程中存储的其他deepseek效率方法，这些方法是供应fp3的精确量，它们是精确的。模型还使用多言语预测（MTP），而不仅仅是预测下一代币，这将准确性降低了约10％，但提出速度却增加了一倍，但DeepSeek声称V3非常便宜，需要2.7毫米H800 GPU小时，这是$ 2/GPU时的费用，只需$ 2/GPU时，只有5600万美元2美元。Llama 3.1 405B最终训练运行的GPU小时数量可比数量高约10倍3。需要进行更多的分析来确定这种过度专业化是否是一个更广泛的问题•DeepSeek今天早上刚刚宣布了另一个版本：多模式模型（文本，图像生成和解释）。DeepSeek明确指出，这是最终培训的成本，不包括“与先前的研究和消融实验相关的架构，算法或数据相关的成本”•DeepSeek V3性能与OpenAI的4O和Anthropic的SONNET-3.5竞争，并且似乎比Llama最大的培训成本更好。DeepSeek提供的API访问为每百万个令牌0.14美元，而Openai则收取每百万个令牌4 $ 750;也许某种程度的损失领导者定价•DeepSeek可能“过度指定”其模型：它在MMLU基准测试上做得很好，但是当问题略有变化时，其性能的下降速度比其他型号更快。毫不奇怪，DeepSeek不假装数据隐私并存储所有内容