XiaoMi-AI文件搜索系统
World File Search SystemGPU
StreamBrain：一种用于 CPU、GPU 和 FPGA 上的类脑神经网络的 HPC 框架
摘要 基于反向传播的现代深度学习方法越来越受欢迎，并已用于多个领域和应用领域。与此同时，还有其他鲜为人知的机器学习算法，它们具有成熟而坚实的理论基础，但其性能仍未被探索。类似大脑的贝叶斯置信传播神经网络 (BCPNN) 就是一个例子。在本文中，我们介绍了 StreamBrain——一个允许基于 BCPNN 的神经网络实际部署在高性能计算系统中的框架。StreamBrain 是一种领域特定语言 (DSL)，概念上类似于现有的机器学习 (ML) 框架，并支持 CPU、GPU 甚至 FPGA 的后端。我们通过经验证明 StreamBrain 可以在几秒钟内训练著名的 ML 基准数据集 MNIST，并且我们是第一个在 STL-10 大小网络上展示 BCPNN 的人。我们还展示了如何使用 StreamBrain 进行自定义浮点格式训练，并说明了使用 FPGA 对 BCPNN 使用不同 bfloat 变体的影响。关键词 HPC、无监督学习、表示学习、神经网络、AI、新兴机器学习、BCPNN、GPU、FPGA
利用 CPU 和 GPU 实现更快的密集可变形图像配准
在我们最近的工作11中，我们引入了一种基于离散优化的密集图像配准方法，即带有 α 扩展的最小图割。12 其他人之前已经提出过使用最小图割进行图像配准，13、14 但由于该方法的计算成本高，在实践中采用有限。通过将图像划分为子区域，并将每个 α 扩展一次限制在一个子区域，我们能够大幅减少这种配准方法的计算时间，而质量方面仅有很小的损失。处理一个子区域涉及两个步骤：计算体素匹配标准（即构建图形）并通过求解最小图割问题执行离散优化。早期的分析实验表明，对于较小的子区域，大部分计算时间都花在计算匹配标准上，而不是执行图割优化上。当使用计算密集度更高的相似性度量（例如互相关 (CC)）时，这种效果更加明显，这已被证明在图像配准中很有价值。15
Gatekeewer®GPUIX媒体气体净化器
Entegris®，Entegris RingsDesign®和其他产品名称是Entegris.com/trademarks上列出的Entegris，Inc。的商标。所有第三方产品名称，徽标和公司名称都是其各自所有者的商标或注册商标。使用它们并不意味着商标所有者的任何隶属关系，赞助或认可。
Gatekeewer®GPUAP媒体气体净化器
Entegris®，Entegris RingsDesign®和其他产品名称是Entegris.com/trademarks上列出的Entegris，Inc。的商标。所有第三方产品名称，徽标和公司名称都是其各自所有者的商标或注册商标。使用它们并不意味着商标所有者的任何隶属关系，赞助或认可。
MDM：GPU 内存发散模型
摘要 — 通过使用一组数学方程式捕捉一阶性能现象，分析模型使架构师能够比周期精确模拟快几个数量级地进行早期设计空间探索。但是，如果由于模型不准确而导致通过模型获得的结论具有误导性，则这种速度优势无效。因此，实用的分析模型需要足够准确，以捕捉广泛应用程序和架构配置中的关键性能趋势。在这项工作中，我们专注于分析建模新兴的内存发散 GPU 计算应用程序的性能，这些应用程序在机器学习和数据分析等领域很常见。这些应用程序的空间局部性较差，导致 L1 缓存频繁阻塞，因为应用程序发出的并发缓存未命中数量远远超过缓存可以支持的次数，从而削弱了 GPU 使用线程级并行 (TLP) 隐藏内存延迟的能力。我们提出了 GPU 内存发散模型 (MDM)，该模型忠实地捕捉了内存发散应用程序的关键性能特征，包括内存请求批处理和过多的 NoC/DRAM 排队延迟。我们根据详细的模拟和真实硬件验证了 MDM，并报告了以下方面的重大改进：(1) 范围：除了非内存发散应用程序外，还能够对流行的内存发散应用程序进行建模；(2) 实用性：通过使用二进制插装而不是功能模拟来计算模型输入，速度提高了 6.1 倍；(3) 准确性：平均预测误差为 13.9%，而最先进的 GPUMech 模型为 162%。
超越峰值性能：比较 AI 优化 FPGA 和 GPU 的实际性能
1 英特尔公司可编程解决方案事业部 2 多伦多大学和矢量研究所 3 卡内基梅隆大学 { andrew.boutros, eriko.nurvitadhi } @intel.com 摘要 — 人工智能 (AI) 的重要性和计算需求日益增长，导致了领域优化硬件平台的出现。例如，Nvidia GPU 引入了专门用于矩阵运算的张量核心，以加速深度学习 (DL) 计算，从而使 T4 GPU 的峰值吞吐量高达 130 int8 TOPS。最近，英特尔推出了其首款针对 AI 优化的 14nm FPGA Stratix 10 NX，其内置 AI 张量模块可提供高达 143 int8 TOPS 的估计峰值性能，堪比 12nm GPU。然而，实践中重要的不是峰值性能，而是目标工作负载上实际可实现的性能。这主要取决于张量单元的利用率，以及向/从加速器发送数据的系统级开销。本文首次对英特尔的 AI 优化 FPGA Stratix 10 NX 进行了性能评估，并与最新的 AI 优化 GPU Nvidia T4 和 V100 进行了比较，这些 GPU 都运行了大量的实时 DL 推理工作负载。我们增强了 Brainwave NPU 覆盖架构的重新实现，以利用 FPGA 的 AI 张量块，并开发了工具链支持，使用户能够仅通过软件对张量块进行编程，而无需在循环中使用 FPGA EDA 工具。我们首先将 Stratix 10 NX NPU 与没有张量块的 Stratix 10 GX/MX 版本进行比较，然后对 T4 和 V100 GPU 进行了详细的核心计算和系统级性能比较。我们表明，我们在 Stratix 10 NX 上增强的 NPU 实现了比 GPU 更好的张量块利用率，在批处理 6 时，与 T4 和 V100 GPU 相比，平均计算速度分别提高了 24 倍和 12 倍。即使在允许批处理大小为 32 的宽松延迟约束下，我们仍分别实现了与 T4 和 V100 GPU 相比 5 倍和 2 倍的平均速度提升。在系统级别，FPGA 的细粒度灵活性及其集成的 100 Gbps 以太网允许以比通过 128 Gbps PCIe 本地访问 V100 GPU 少 10 倍和 2 倍的系统开销延迟进行远程访问，分别用于短序列和长序列 RNN。索引术语 — FPGA、GPU、深度学习、神经网络
白皮书 Supermicro® 系统由 NVIDIA 提供支持使用 NVIDIA TensorRT 实现最佳 AI 推理性能的 GPU
白皮书 Supermicro® 系统采用 NVIDIA GPU，利用 NVIDIA TensorRT 实现最佳 AI 推理性能
NVIDIA A100 Tensor Core GPU 架构
图 1. 现代云数据中心工作负载需要 NVIDIA GPU 加速 .......................................................... 8 图 2. NVIDIA A100 中的新技术.................................................................................... 10 图 3. 新 SXM4 模块上的 NVIDIA A100 GPU ........................................................................ 12 图 4. 用于 BERT-LARGE 训练和推理的统一 AI 加速 ............................................................. 13 图 5. 与 NVIDIA Tesla V100 相比，A100 GPU HPC 应用程序加速 ............................................. 14 图 6. 带有 128 个 SM 的 GA100 全 GPU（A100 Tensor Core GPU 有 108 个 SM） ............................................................................................. 20 图 7. GA100 流多处理器 (SM) ............................................................................................. 22 图 8. A100 与 V100 Tensor Core 操作 ............................................................................................. 25 图 9. TensorFloat-32 (TF32) ........................................................................................... 27 图 10. 迭代TCAIRS 求解器收敛到 FP64 精度所需的时间 .............................................. 30 图 11. TCAIRS 求解器相对于基线 FP64 直接求解器的加速 ........................................................ 30 图 12. A100 细粒度结构化稀疏性 ...................................................................................... 32 图 13. 密集 MMA 和稀疏 MMA 操作示例 ............................................................................. 33 图 14. A100 Tensor Core 吞吐量和效率 ............................................................................. 39 图 15. A100 SM 数据移动效率 ............................................................................................. 40 图 16. A100 L2 缓存驻留控制 ............................................................................................. 41 图 17. A100 计算数据压缩 ............................................................................................. 41 图 18. A100 强扩展创新 ............................................................................................. 42 图 19. Pascal 中基于软件的 MPS 与硬件加速的 MPS Volta............. 44 图 20. 当今的 CSP 多用户节点 ...................................................................................... 46 图 21. 示例 CSP MIG 配置 .............................................................................................. 47 图 22. 具有三个 GPU 实例的示例 MIG 计算配置。 ...................................................... 48 图 23. 具有多个独立 GPU 计算工作负载的 MIG 配置 ...................................................... 49 图 24. 示例 MIG 分区过程 ............................................................................................. 50 图 25. 具有三个 GPU 实例和四个计算实例的示例 MIG 配置。 .................... 51 图 26. 带有八个 A100 GPU 的 NVIDIA DGX A100............................................................. 53 图 27. 光流和立体视差的说明 .................................................................................... 55 图 28.顺序 2us 内核的执行细分。................................................................ 59 图 29. 任务图加速对 CPU 启动延迟的影响 .............................................................. 60
GPU 加速药物研发与 Summit 超级计算机对接：移植、优化和应用于 COVID-19 研究
蛋白质-配体对接是一种计算机模拟工具，用于在药物发现活动中筛选潜在药物化合物与给定蛋白质受体结合的能力。实验性药物筛选成本高昂且耗时，因此需要以高通量的方式进行大规模对接计算以缩小实验搜索空间。现有的计算对接工具中很少有考虑到高性能计算而设计的。因此，通过优化最大限度地利用领先级计算设施提供的高性能计算资源，可以使这些设施用于药物发现。在这里，我们介绍了 AutoDock-GPU 程序在 Summit 超级计算机上的移植、优化和验证，以及它在针对导致当前 COVID-19 大流行的 SARS-CoV-2 病毒蛋白的初步化合物筛选工作中的应用。1
异构 CPU/GPU 共同执行 CFD 模拟...
高保真计算流体力学模拟通常与大量计算需求相关，而每一代超级计算机的出现都对计算能力提出了更高的要求。然而，需要进行大量的研究工作才能释放基于日益复杂的架构的前沿系统（目前称为前百亿亿次级系统）的计算能力。在本文中，我们介绍了计算力学代码 Alya 中实现的方法。我们详细描述了为充分利用不同并行级别而实施的并行化策略，以及一种用于有效利用异构 CPU/GPU 架构的新型共执行方法。后者基于具有动态负载平衡机制的多代码共执行方法。已针对使用 NVIDIA Volta V100 GPU 加速的 POWER9 架构上的飞机模拟对所有提出的策略的性能进行了评估。