服务器是支持 AI 工作负载的基础计算基础设施,它可以根据工作负载的大小或类型使用 CPU、GPU 或两者作为计算资源。对于 HPC 或 AI 等更大或要求更高的工作负载,GPU 可提供最佳性能。GPU 具有多种外形尺寸,包括通用 PCIe、开放计算项目加速器模块 (OAM) 和专有的 NVIDIA SXM 架构,后者目前可提供最佳性能。1 大内存容量和服务器设计功能(例如冷却架构和功率效率)也会影响性能。大多数数据中心仍使用空气冷却,这意味着 AI 工作负载需要尽可能有效地用空气冷却的服务器。下面,我们将重点介绍 Dell PowerEdge 服务器产品的组件、冷却选项等,以及它们发布的 MLCommons ® MLPerf ® 分数。
在 KODA 等实体自助服务终端中实施 AI 面临着独特的挑战,但对于能够实现这一目标的人来说,也意味着机遇。首先,要将本质上数字化的体验带入物理环境。在过去十年中,购物者已经非常熟悉电子商务,但网上的便利并没有转移到实体零售商身上。这是 KODA 项目的目标之一。在此类实施中需要克服的另一组挑战是边缘 AI 项目的技术方面。对于 KODA 自助服务终端的外形尺寸,这些挑战涉及尺寸、重量和功率 (SWaP)、远程软件管理、能源效率和网络连接等方面的考虑。必须应对这些挑战,才能在 KODA 等项目中出现的物理空间可用性、噪音输出和可维护性方面的限制内部署解决方案。
HPC,AI和ML ActivesCale与WEKA文件系统完全集成。WEKA文件系统是一个闪存优化的规模输出文件系统,可在基于NVME的SuperMicro服务器群体上运行,用于HPC,人工智能和机器学习工作负载的领导性能。WEKA使用本地NVME存储提供高性能,低延迟和一致的响应时间。WEKA文件系统可以使用ActiveScale对象存储(基于超级服务器)作为辅助存储资源,以较低的成本存储大量信息。数据归档和长期保留策划,通过ActiveScale在线巩固和维护冷数据资产,以低成本,易于访问和长期保护。ActivesCale支持基于磁盘的数据存储层,用于快速访问活动数据,以及一个冷的,基于磁带的数据存储层,用于较低的成本存储,保护和在线访问大量数据。
该配置旨在优化中大型基础设施,可适应各种既定环境,包括本地、云和混合系统。利用虚拟化服务器可以实现高效的 GPU 和 AI/ML 驱动的内容生成。该解决方案特别适合已经具备高可用性和灾难恢复机制的生产环境。它提供了一种在中大型规模上部署支持 GPU 的工作站的最佳方法,无论操作环境是基于云、混合还是本地。
行业标准组件 Supermicro 构建整个机架规模解决方案。这意味着我们会审核所有硬件组件,包括第三方组件,以确保获得经过全面测试和标准化的整体解决方案。评估处理能力、内存容量、网络连接选项、存储容量和可靠性等因素可确保所选硬件满足机架集成项目的特定需求。我们保证所有硬件在交付后都能正常工作。 能源效率 Supermicro 可以根据客户的任何电源配置调整我们的机架解决方案。制造工厂支持 208、230、415 或 480VAC。单相或三相,并且该工厂支持 48VDC。但最重要的是,机架规模解决方案节能。Supermicro 通过我们产品中更高效的电源、液体冷却功能甚至浸入式冷却,显著降低了能耗。
Supermicro 针对 NVIDIA AI Enterprise 和 Red Hat OpenShift 的参考架构提供了可扩展的架构。因此,企业 AI 开发人员可以使用预先训练的 AI 模型快速开发 AI 解决方案,以提高效率并启用新服务。Supermicro 借助生成式 AI 来自动化测试的安装脚本,从而加速在 Red Hat OpenShift 的编排容器环境中部署 AI 容器。经过 NVIDIA 认证和 Red Hat 认证的 Supermicro 系统(包括整个软件堆栈)均提供企业支持。
Onework 是建筑信息管理系统领域的领导者,它希望通过开发专业知识和应用程序来扩展其产品,以帮助客户在施工开始之前了解复杂的建筑设计。Onework 决定使用 NVIDIA Omniverse 来模拟未来的完整数据中心,该数据中心将使用沉浸式液体冷却来冷却数百台服务器。该项目需要新一代高速工作站来满足建模和查看整个数据中心的图形需求。借助 NVIDIA Omniverse,多个人可以协作进行设计并实时独立查看结果。此外,物理学
Supermicro B13DET 支持双第四代 Intel® Xeon® 可扩展处理器(插槽 E1 LGA 4677-1),具有三个 UPI(最高 16GT/s)和高达 350W 的 TDP(热设计功率)。B13DET 采用 Intel C741 芯片组构建,支持 4TB(最高)3DS RDIMM/RDIMM DDR5 ECC 内存,在 16 个 DIMM 插槽中速度高达 4800MT/s(见下文注释 1)。该主板具有出色的 I/O 可扩展性和灵活性,包括两个支持 SATA 6G/NVMe 的 HDD 连接器、一个支持 PCIe 5.0 的 M.2 连接器、两个支持子转接卡的夹层插槽、一个支持 25GbE 以太网 LAN 的中板,以及一个来自 PCH 的用于支持 SATA 6.0 的附加 SATA 连接器。它还提供最先进的数据保护,支持硬件 RoT(信任根)和 TPM(可信平台模块)(下面的注释 2)。B13DET 针对具有高密度和高速输入/输出能力的 4U/8U SuperBlade 系统进行了优化。它是高性能计算 (HPC)、云计算、财务建模、企业应用程序、具有数据密度应用程序的科学和工程计算的理想选择。请注意,此主板仅供专业技术人员安装和维修。有关处理器/内存更新,请参阅我们的网站 http://www.supermicro.com/products/。
Supermicro B13DET 支持双第四代英特尔® 至强® 可扩展处理器(插槽 E1 LGA 4677-1),具有三个 UPI(最高 16GT/s)和高达 350W 的 TDP(热设计功率)。B13DET 采用英特尔 C741 芯片组构建,支持 4TB(最高)3DS RDIMM/RDIMM DDR5 ECC 内存,在 16 个 DIMM 插槽中速度高达 4800MT/s(下面的注释 1)。这款主板具有出色的 I/O 可扩展性和灵活性,包括两个支持 SATA 6G/NVMe 的 HDD 连接器、一个支持 PCIe 5.0 的 M.2 连接器、两个支持子转接卡的夹层插槽、一个支持 25GbE 以太网 LAN 的中板,以及来自 PCH 的用于支持 SATA 6.0 的额外 SATA 连接器。它还提供最先进的数据保护,支持硬件 RoT(信任根)和 TPM(可信平台模块)(见下文注释 2)。B13DET 针对 4U/8U SuperBlade 系统进行了优化,具有高密度和高速输入/输出能力。它是高性能计算 (HPC)、云计算、财务建模、企业应用程序、具有数据密度应用程序的科学和工程计算的理想选择。请注意,此主板仅供专业技术人员安装和维修。有关处理器/内存更新,请参阅我们的网站 http://www.supermicro.com/products/。
NEC 选择使用 NVIDIA A100 Tensor Core GPU,主要原因是使用 NVIDIA A100 进行 AI 运算的总计算速度非常出色。此外,A100 的 GPU 内存带宽为 2TB/s,但在深度学习中,这基本上是内存带宽限制。因此,使用 A100 中的 TF32,范围与 FP32 相同,但精度可以视为 FP16,虽然精度没有受到影响,但可以缓解内存带宽瓶颈。换句话说,更容易利用 A100 的计算性能。特别是,NEC 内部许多小组都在研究和开发使用图像的 AI,例如生物特征认证、图像识别和视频识别,这对 GPU 的内存限制更大。因此,NEC 采用了支持 TF32 的 A100。