XiaoMi-AI文件搜索系统
World File Search SystemHBM2
HBM2 DRAM 芯片中 RowHammer 的实验分析
RowHammer (RH) 是现代 DRAM 芯片的一个重大且日益恶化的安全性、可靠性问题，可利用该问题来破坏内存隔离。因此，了解真实 DRAM 芯片的 RH 特性非常重要。遗憾的是，之前没有研究广泛研究现代 3D 堆叠高带宽内存 (HBM) 芯片的 RH 漏洞，而这种芯片通常用于现代 GPU。在这项工作中，我们通过实验表征了真实 HBM2 DRAM 芯片的 RH 漏洞。我们表明：1) HBM2 内存的不同 3D 堆叠通道表现出明显不同级别的 RH 漏洞（误码率相差高达 79%），2) DRAM 组末尾的 DRAM 行（具有最高地址的行）表现出的 RH 位翻转明显少于其他行，3) 现代 HBM2 DRAM 芯片实现了未公开的 RH 防御措施，这些措施由定期刷新操作触发。我们描述了我们的观察结果对未来 RH 攻击和防御的影响，并讨论了理解 3D 堆叠存储器中的 RH 的未来工作。
内存耦合计算：创新 HPC 和 AI 的未来
Kwon 等人，基于 HBM2 的 20nm 6GB 内存函数 DRAM，配备 1.2TFLOPS 可编程计算单元，采用库级并行，适用于机器学习应用，ISSCC 2021
2021 年 VLSI 技术研讨会
Fugaku 是世界上第一台百亿亿亿次级超级计算机，主要由理化学研究所计算科学中心 (R-CCS) 和富士通有限公司设计和建造，但日本 HPC 社区的所有主要利益相关者都参与其中。“Fugaku”这个名字是富士山的另一个名字，选择这个名字是为了表明这台机器不仅追求极高的性能，而且同时追求广泛的用户群和适用性。Fugaku 的核心是新的富士通 A64FX Arm 处理器，它 100% 符合 Aarch64 规范，但体现了首次在主要服务器通用 CPU 中实现的技术，例如 7nm 工艺技术、封装集成 HBM2 和 TB 级 SVE 流媒体功能、包括网络交换机在内的片上嵌入式 TOFU-D 高性能网络，以及采用所谓的“分解架构”，允许分离和任意组合 CPU 核心、内存和网络功能。 Fugaku 在单插槽节点配置中使用 158,974 个 A64FX CPU，使其成为有史以来最大、速度最快的超级计算机，其在主要 HPC 基准测试中取得了突破性成就，并在 COVID-19 应用中产生了社会成果。
随处部署人工智能
12 Habana Gaudi2 深度学习加速器：所有测量均使用 Habana SynapseAI 版本 1.10 和 optimum-habana 版本 1.6 在 HLS2 Gaudi2 服务器上进行，该服务器具有八个 Habana Gaudi2 HL-225H 夹层卡和两个 Intel Xeon Platinum 8380 CPU @ 2.30GHz 和 1TB 系统内存。性能测量于 2023 年 7 月进行。第四代英特尔至强 8480：英特尔第四代至强铂金 8480+ 2 插槽系统，112 核/224 线程，Turbo Boost 开启，超线程开启，内存：16x32GB DDR5 4800MT/s，存储：953.9GB）；操作系统：CentOS Stream 8；内核：5.15.0-spr.bkc.pc.16.4.24.x86_64；批次大小：1；在 1 个插槽上测量：1；PyTorch 每日构建 0711；英特尔® PyTorch 扩展标签 v2.1.0.dev+cpu.llm；模型：Llama 2 7B 和 Llama 2 13B；数据集 LAMBADA；令牌长度：32/128/1024/2016（输入）、32（输出）；波束宽度 4；精度：BF16 和 INT8；英特尔于 2023 年 7 月 12 日进行测试。英特尔至强 Max 9480：英特尔至强 Max 9480 2 插槽系统，112 核/224 线程，Turbo Boost 开启，超线程开启，内存：16x64GB DDR5 4800MT/s；8x16GB HBM2 3200 MT/s，存储：1.8TB；操作系统：CentOS Stream 8；内核：5.19.0-0812.intel_next.1.x86_64+server；批次大小：1；在 1 个插槽上测量；PyTorch nightly build0711；英特尔® PyTorch 扩展 llm_feature_branch；模型：Llama 2 7B 和 Llama 2 13B，数据集 LAMBADA；令牌长度：32/128/1024/2016（输入）、32（输出）；波束宽度 4；精度：BF16 和 INT8；英特尔于 2023 年 7 月 12 日进行测试。英特尔数据中心 GPU Max 系列：1 个节点、2 个英特尔至强铂金 8480+、56 个内核、超线程开启、睿频开启、NUMA 2、总内存 1024GB（16x64GB DDR5 4800 MT/s [4800 MT/s]）、BIOS SE5C7411.86B.9525.D19.2303151347、微码 0x2b0001b0、1 个以太网控制器 X710（用于 10GBASE-T）、1 个 1.8T WDC WDS200T2B0B、1 个 931.5G 英特尔 SSDPELKX010T8、Ubuntu 22.04.2 LTS、5.15.0-76-generic、4 个英特尔数据中心 GPU Max 1550（仅使用单个 OAM 的单个 Tile 进行测量） GPU 卡）、IFWI PVC 2_1.23166、agama 驱动程序：agama-ci-devel-627.7、英特尔 oneAPI 基础工具包 2023.1、PyTorch 2.0.1 + 英特尔 PyTorch 扩展 v2.0.110+xpu（dev/LLM 分支）、AMC 固件版本：6.5.0.0、型号：Meta AI Llama 2 7B 和 Llama 2 13B、数据集 LAMBADA；令牌长度：32/128/1024/2016（输入）、32（输出）；贪婪搜索；精度 FP16；由英特尔于 2023 年 7 月 7 日测试。