XiaoMi-AI文件搜索系统
World File Search Systemgpus
测量云实例中人工智能的碳强度
模型 BERT BERT 6B Dense Dense Dense ViT ViT ViT ViT ViT 微调预训练 Transf。 121 169 201 微型 小型基础 大型 巨型 GPU 4 · V100 8 · V100 256 · A100 1 · P40 1 · P40 1 · P40 1 · V100 1 · V100 1 · V100 4 · V100 4 · V100 小时 6 36 192 0.3 0.3 0.4 19 19 21 90 216 千瓦时 3.1 37.3 13,812.4 0.02 0.03 0.04 1.7 2.2 4.7 93.3 237.6 表 2. 对于我们分析的 11 个模型：GPU 的类型、该类型的 GPU 数量、小时数以及所用的能量（千瓦时）。例如，我们的 BERT 语言建模 (BERT LM) 实验使用了 8 个 V100 GPU，持续了 36 个小时，总共使用了 37.3 千瓦时。我们注意到，60 亿参数转换器的训练运行时间仅为训练完成时间的约 13%，我们估计完整的训练运行将消耗约 103,593 千瓦时。
将多GPU加速度的功率利用为量子交互计算内核程序
摘要：我们报告了一种新的多GPU从头算，hartree- fock/密度功能理论实现将整体化为开源量子相互作用计算内核（快速）程序。详细介绍了电子排斥积分的负载平衡算法和多个GPU之间的交换相关性。进行了多达四个GPU节点进行的基准测试研究，每个节点包含四个NVIDIA V100-SXM2型GPU表明，我们的实力能够实现出色的载荷平衡和高平行的效率。对于代表性的培养基到大蛋白/有机分子系统，观察到的平行官方率在Kohn- -假基质形成中保持在82％以上，而对于核梯度计算，则保持高于90％。在所有经过测试的情况下，NVIDIA A100，P100和K80平台上的加速度也已经实现了高于68％的平行官方，这为大规模的初始电子结构计算铺平了道路。
自治系统的神经架构大小
摘要 - 神经网络（NNS）现在广泛用于自主系统中的感知处理。来自摄像机和激光镜等传感器的数据，在由NNS处理后，构成了自治功能的核心的饲料控制算法。此类NN在图形处理单元（GPU）上实现，现代GPU可以分配到多个虚拟机中，每个机器都实现了单独的NN。给定一个具有多个NN的自主系统，每个NN应该如何尺寸和实施它们的GPU进行最佳分区？在这项工作中，我们研究了多种GPU分区技术，其目的是最佳和安全的系统级控制性能。I. I Tratsuction的进步深度学习技术导致自主系统中神经网络（NNS）的广泛部署。由于其任务关键性，验证驾驶系统通常需要NN组件的高精度。但是，达到最新准确性通常会导致计算和记忆需求增加。尽管努力压缩NNS提高效率（例如，[1]），在官能系统的内在空间，能源和成本限制中满足准确性要求的挑战仍然很大。此外，此类系统的总体性能，包括感应，决策和驱动，不仅受到其NN组件的准确性，而且还受到控制系统对NN输出不确定性的敏感性的影响。这项工作的贡献：我们解决自主系统中NNS的资源分配，以优化安全性和控制性能。，深度估计）。由于NN估计错误的影响在整个系统上都有不同，因此对整体系统性能进行优化需要一种细微的方法来分配NN，优先考虑关键功能，同时为他人分配足够的资源。具体来说，我们专注于用于状态估计的NN（例如由于可以对GPU和现代GPU进行分配，因此分配问题会减少到NN的尺寸和GPU分区。我们提出了三种用于NN尺寸的启发式方法，并表现出与详尽的搜索相比，其综合努力明显少得多。据我们所知，没有先前的工作将自主系统的控制性能与NNS的尺寸或GPU分配有关。相关工作：嵌入式NNS的记忆，计算和能量需求的选择存在广泛的文献。值得注意的策略包括开发较小，更有效的NNS [1]，[2]和实施早期出口
Deloitte的石英Atlas AI™农业
Atlas AI旨在解决现有数据科学和机器学习解决方案的缺点。通过将最先进的NVIDIA GPU，BIONEMO™API和大型语言模型（LLM）与德勤的专有AI模型和数据管道结合使用，科学家可以更好地了解分子和化合物之间的相互作用，以支持新目标和产品开发。
建立人工智能大学：管理员指南
为什么佛罗里达大学早在 2020 年就开始了人工智能之旅？这次旅程的灵感来自 Chris Malachowsky。他是佛罗里达大学的校友，也是生产图形处理单元 (GPU) 的公司 NVIDIA 的联合创始人。虽然 GPU 最初驱动计算机图形（如在视频游戏中），但它们也成为当前为人工智能超级计算机的计算能力提供动力的首选硬件。Malachowsky 在 2020 年初向佛罗里达大学提供了一台人工智能超级计算机，佛罗里达大学承诺教授“跨课程人工智能”，这在当时是前所未有的概念。NVIDIA 首席执行官 Jensen Huang 和 NVIDIA 与 Malachowsky 合作，将这台超级计算机赠送给佛罗里达大学。在 COVID-19 大流行期间，NVIDIA 和佛罗里达大学信息技术部门的工作人员英勇地交付了 HiPerGator，并花了两个月的时间将其零部件组装起来，这是一个值得在另一个时间和地点讲述的故事。组件于 2020 年 11 月开始交付。在两家员工的共同专业知识的帮助下，HiPerGator 于 2021 年 2 月投入运行，佛罗里达大学开始将其愿景从简单地教授“跨课程人工智能”扩展到“成为一所人工智能大学”。
为实时AI和HPC提供低潜伏期。
GROQ的体系结构与高批量GPU的相反，GROQCHIP处理器具有230 MB的SRAM，可提供80TB/s的芯片带宽。图3显示了Groqchip如何非常有效地揭示指令级别并行性，记忆级并行性和数据级并行性，从而同时采用了计算和交流的独特方法。开发后，控制权被移交给软件端，以构建一个大规模的并行编译器，以利用所有这些形式的并发。这有助于有助于Groq在批次1.在其他体系结构中，必须处理256个用于培训的256 BA TCH，这意味着必须处理256张图像，并且“在应用程序可以提供有关第一个的信息之前从''中学到的图像。在GROQ在批次1运行，因此在收到的每个图像时处理每个图像（而不是等待所有256），不仅等待降低，精度会提高。另外，GROQ架构允许开发人员不摊销GPU和其他传统体系结构中固有的长潜伏期。
高能物理中人工智能和大数据的异构计算
异构计算表示针对特定应用使用不同计算平台的场景 (Danovaro 等人，2014)。随着对大数据量和速率的查询和分析需求不断增长，对计算资源的需求也随之增长，但能源效率限制了传统方法，即通过在现有基础设施中添加数千台最先进的 x86 机器来提高数据中心的计算能力，转而采用节能设备 (Cesini 等人，2017；D'Agostino 等人，2019)。因此，数据中心的计算节点具有不同的执行模型，从传统的 x68 架构到 GPU、FPGA（Papadimitriou 等人，2020 年）和其他处理器类型，如 ARM 或更专业的处理器，如 TPU（Albrecht 等人，2019 年；Cass，2019 年）。例如，GPU 用于许多基于常规领域的科学应用中，并且提供的性能比传统内核高出几个数量级。它们也广泛用于深度学习，尤其是机器学习训练阶段。FPGA 是一种可以由程序员配置以实现特定功能的集成电路，它试图缩小硬件和软件之间的差距。在此背景下，该研究主题收集了五篇论文，展示了在高能物理中采用异构架构进行 AI 和大数据应用的非常有趣的经验。在 GPU 加速机器学习推理作为中微子实验计算服务 (Wang 等人) 中作者讨论了通过利用 GPU 资源作为服务为在深层地下中微子实验 (DUNE) 背景下开发的 ProtoDUNE-SP 重建链所实现的性能。这篇文章代表了在中微子软件框架中使用 GPU 加速机器学习的首次体验之一。最耗时的任务，即轨迹和粒子簇射命中识别，已加速 17 倍。在使用 CMS 像素跟踪器对轨迹和主顶点进行异构重建（Bocci 等人）中作者描述了一种在 GPU 上实现像素轨迹和顶点重建链的异构实现，能够实现高性能加速值。在 FPGA 上用于高能物理实时粒子重建的距离加权图神经网络（Iiyama 等人）中所开发的框架已集成到 CMS 粒子探测器重建软件 CMSSW (http://cms-sw.github.io) 中，CMSSW 用于检测 CMS 实验中 LHC 高能碰撞产生的粒子和现象。作者提出了一种新方法，将图神经网络从复杂的现代机器学习包导出到高效的 FPGA 实现中。
生成AI部门的竞争功能
在上游级别，涉及几种类型的运算符：•IT组件供应商，它们开发图形处理单元（GPU）和AI加速器。nvidia是该行业的领先运营商。•云服务提供商，包括“超级标准”，例如Amazon Web Services（AWS），Microsoft Azure和Google Cloud Platform（GCP），OVHCloud等云提供商以及CoreWeave等专家AI提供商。
用于估计 CNN 加速器硬件指标的高级建模框架
摘要 — 由于 GPU 具有针对 CNN 运算符量身定制的架构，因此它成为卷积神经网络 (CNN) 训练和推理阶段的参考平台。然而，GPU 是耗电极高的架构。在能耗受限的设备中部署 CNN 的一种方法是在推理阶段采用硬件加速器。由于其复杂性，使用标准方法（如 RTL）对 CNN 的设计空间探索受到限制。因此，设计人员需要能够进行设计空间探索的框架，该框架可提供准确的硬件估算指标来部署 CNN。这项工作提出了一个探索 CNN 设计空间的框架，提供功耗、性能和面积 (PPA) 估算。该框架的核心是一个系统模拟器。系统模拟器前端是 TensorFlow，后端是从硬件加速器的物理合成（而不仅仅是从乘法器和加法器等组件）获得的性能估算。第一组结果评估了使用整数量化的 CNN 精度、物理综合后的加速器 PPA 以及使用系统模拟器的好处。这些结果允许进行丰富的设计空间探索，从而能够选择最佳的 CNN 参数集以满足设计约束。
朝着碳效率LLM生命周期
随着生成AI的兴起，由于计算需求和对高级GPU的需求，可持续性问题已经引起了人们的关注。最近的研究量化了来自数据中心的碳排放，但存在一个差距，以充分了解生成模型和硬件系统的生命周期发射。本文介绍了CPU和GPU的精制碳模型，旨在优化机器学习生命周期期间的设计空间，尤其是对于生成性推导中的多GPU系统。我们提出了一个参数化的碳模型，该模型强调了通用CPU的实质影响（寿命为2倍）。我们的发现提出了与模型依赖性策略有关碳效率生成推断的策略，例如优化的批处理，模型碎片和并行化。这些策略（适当地合并在一起）可以在碳足迹上提高17％，而无需可忽略的吞吐量。补充，我们提出了一种不对称的寿命扩展策略，以使GPU摊销CPU体现的碳，从而提高了能源效率，尽管初始碳成本较高。这种方法高光具有AI可持续实践的潜力，强调了在资源密集型生成模型时代，生命周期感知优化的重要性。