NEC 选择使用 NVIDIA A100 Tensor Core GPU,主要原因是使用 NVIDIA A100 进行 AI 运算的总计算速度非常出色。此外,A100 的 GPU 内存带宽为 2TB/s,但在深度学习中,这基本上是内存带宽限制。因此,使用 A100 中的 TF32,范围与 FP32 相同,但精度可以视为 FP16,虽然精度没有受到影响,但可以缓解内存带宽瓶颈。换句话说,更容易利用 A100 的计算性能。特别是,NEC 内部许多小组都在研究和开发使用图像的 AI,例如生物特征认证、图像识别和视频识别,这对 GPU 的内存限制更大。因此,NEC 采用了支持 TF32 的 A100。
Supermicro 针对 NVIDIA AI Enterprise 和 Red Hat OpenShift 的参考架构提供了可扩展的架构。因此,企业 AI 开发人员可以使用预先训练的 AI 模型快速开发 AI 解决方案,以提高效率并启用新服务。Supermicro 借助生成式 AI 来自动化测试的安装脚本,从而加速在 Red Hat OpenShift 的编排容器环境中部署 AI 容器。经过 NVIDIA 认证和 Red Hat 认证的 Supermicro 系统(包括整个软件堆栈)均提供企业支持。
公司预计,截至 2024 年 12 月 31 日的 2025 财年第二季度净销售额将在 55 亿美元至 61 亿美元之间,GAAP 每股摊薄净利润将在 0.48 美元至 0.58 美元之间,非 GAAP 每股摊薄净利润将在 0.56 美元至 0.65 美元之间。公司对 GAAP 和非 GAAP 每股摊薄净利润的预测分别假设税率约为 14.0% 和 15.0%,GAAP 完全摊薄股数为 6.40 亿股,非 GAAP 完全摊薄股数为 6.48 亿股。2025 财年第二季度 GAAP 每股摊薄净利润的预期包括约 5400 万美元的预期股票薪酬费用和其他费用,扣除相关税收影响 1400 万美元,这些费用不包括在非 GAAP 每股摊薄净利润中。
Kubeflow 是一个开源项目,致力于在 Kubernetes 集群之上提供易于使用的机器学习 (ML) 资源。有了 Canonical MAAS 和 Juju,设置 Kubernetes/Kubeflow 环境就变得相对简单。Juju 控制器可以根据支持的基础架构轻松地在单节点和多节点集群上部署 Kubernetes 集群。Kubeflow 简化了 TensorFlow 的安装,并且通过添加包含适当加速器 (Intel MKL) 的 Supermicro 系统,它可以为提交的 ML 作业提供加速性能。最后,Prometheus 用于事件监控和警报
将这些新技术融入其中面临多项挑战,包括确定 AI 框架和工具、优化系统以及从开发到部署实施 IT 管理软件。NVIDIA AI Enterprise 是一款端到端云原生 AI 和分析软件套件,可解决这些挑战。NVIDIA AI Enterprise 将 AI 引入许多企业使用的现有 VMware vSphere 基础架构。开发人员和 IT 管理员可以分步整合 AI 训练和推理。借助随附的 AI 和数据科学工具和框架,企业可以从小额投资开始,并随着时间的推移发展这种能力。此外,企业可以部署经 NVIDIA 优化和认证的 NVIDIA AI Enterprise 软件,以在带有 Supermicro NVIDIA 认证系统™ 的 VMware vSphere 上运行。这些服务器也经过 VMware 认证,可支持 GPU。
对于需要比最大的 16-GPU 系统更多的 CUDA 核心和 GPU 内存的 AI 模型和数据批次,GPUDirect RDMA 和 NCCL 用于通过 100Gigabit InfiniBand 或以太网结构扩展 GPU 核心和内存。NGC 软件使部署多个 GPU 系统变得容易。可以聚合数十或数百个这样的系统来运行最大的 AI 模型和数据批次。结合高性能 NVMe 结构存储和网络,这些系统可以轻松快速地构建复杂的 AI 系统。
在 KODA 等实体自助服务终端中实施 AI 面临着独特的挑战,但对于能够实现这一目标的人来说,也意味着机遇。首先,要将本质上数字化的体验带入物理环境。在过去十年中,购物者已经非常熟悉电子商务,但网上的便利并没有转移到实体零售商身上。这是 KODA 项目的目标之一。在此类实施中需要克服的另一组挑战是边缘 AI 项目的技术方面。对于 KODA 自助服务终端的外形尺寸,这些挑战涉及尺寸、重量和功率 (SWaP)、远程软件管理、能源效率和网络连接等方面的考虑。必须应对这些挑战,才能在 KODA 等项目中出现的物理空间可用性、噪音输出和可维护性方面的限制内部署解决方案。
白皮书 Supermicro® 系统采用 NVIDIA GPU,利用 NVIDIA TensorRT 实现最佳 AI 推理性能
如图2所示,Celona Edge OS感应了数据流并将其分配给微板片,在这种情况下,视频,销售点系统,语音,物联网和最佳努力频道。这些微型映射到企业运输网络中的虚拟LAN,并可以根据身份验证和网络地址控制(NAC)策略灵活地达到其用户组目标。通过为客户提供对微型策略的配置更新的完整控制,网络管理员可以在需要时更改设备组和应用程序的服务级别。
Supermicro的超集群参考体系结构旨在解决计划和部署高度复杂的规模规模AI基础架构的挑战。超集群通过提供可互操作的组件(称为“可伸单元(SU)”的基本包装来大大简化基础架构项目。使用NVIDIA的突破性H100/H200 GPU以及Infiniband Compute Fabric -Supermicro Supercluster SU,具有32个超级功能强大的GPU系统,是建立世界上最大的AI AI训练基础设施的终极组成部分。随着需求的增长,这种独特的SU毫不费力地利用Nvidia Quantum Infiniband的力量扩展基础架构 - 确保客户始终具有满足不断发展的