联邦委员会首席赞助人 Hi* EneeUtncy 总督 PraairJenl F Geotlrey Evar* OBE VRO Vrce-PreelOenta:R*a' Arjm.rai A j Robedion AO DSC FUN I Rid I JonnB-d Hon 秘书:John WaXni PO Boi 269 Bonwood V.k^ M*a*»> 4 Eleanor Court Donvate W 3111 电话 841 7064 昆士兰分部 赞助人:Ha' Enceeency。Oueenaiaid 州长 Pteaident IM friMH 荣誉牧师:HD Poulon HFD PO Bo. 170 Cleveland OW 4163 Ptwic 3452)74 澳大利亚首都领地分部 赞助人。 Arjm.rai Sri Vrclor Smrth AC KBE.C8 DSC RAM (Fhol Pteeidenl HA Joiephs AM 荣誉牧师 EM Mahonev 45 Skinner Street Cook ACT 2614 电话 251 1833 南澳大利亚分部 赞助人 Hs E«oaeency 州长 Soutfi Ausl'aha Praaidant:OM Sdrapei 荣誉牧师:Mru JEG* GPO Bo. 1529 Adeie-Je SA 5001 电话 347 1985 塔斯马尼亚分部 赞助人 Hs Eicaaancy 州长 Tasmania Preaident MJ Cooper 荣誉牧师:Mn JM Coope' 42 Amy Road Launtealon Tas 7250 电话 44 1531 西澳大利亚分部 赞助人 Hn E.ce«en<-y 卫斯理总督 AuiDaiia Praaidant:AH Hewrti JP Hon Sacratary:G Hewn 23 La* 女士
12 Habana Gaudi2 深度学习加速器:所有测量均使用 Habana SynapseAI 版本 1.10 和 optimum-habana 版本 1.6 在 HLS2 Gaudi2 服务器上进行,该服务器具有八个 Habana Gaudi2 HL-225H 夹层卡和两个 Intel Xeon Platinum 8380 CPU @ 2.30GHz 和 1TB 系统内存。性能测量于 2023 年 7 月进行。第四代英特尔至强 8480:英特尔第四代至强铂金 8480+ 2 插槽系统,112 核/224 线程,Turbo Boost 开启,超线程开启,内存:16x32GB DDR5 4800MT/s,存储:953.9GB);操作系统:CentOS Stream 8;内核:5.15.0-spr.bkc.pc.16.4.24.x86_64;批次大小:1;在 1 个插槽上测量:1;PyTorch 每日构建 0711;英特尔® PyTorch 扩展标签 v2.1.0.dev+cpu.llm;模型:Llama 2 7B 和 Llama 2 13B;数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);波束宽度 4;精度:BF16 和 INT8;英特尔于 2023 年 7 月 12 日进行测试。英特尔至强 Max 9480:英特尔至强 Max 9480 2 插槽系统,112 核/224 线程,Turbo Boost 开启,超线程开启,内存:16x64GB DDR5 4800MT/s;8x16GB HBM2 3200 MT/s,存储:1.8TB;操作系统:CentOS Stream 8;内核:5.19.0-0812.intel_next.1.x86_64+server;批次大小:1;在 1 个插槽上测量;PyTorch nightly build0711;英特尔® PyTorch 扩展 llm_feature_branch;模型:Llama 2 7B 和 Llama 2 13B,数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);波束宽度 4;精度:BF16 和 INT8;英特尔于 2023 年 7 月 12 日进行测试。英特尔数据中心 GPU Max 系列:1 个节点、2 个英特尔至强铂金 8480+、56 个内核、超线程开启、睿频开启、NUMA 2、总内存 1024GB(16x64GB DDR5 4800 MT/s [4800 MT/s])、BIOS SE5C7411.86B.9525.D19.2303151347、微码 0x2b0001b0、1 个以太网控制器 X710(用于 10GBASE-T)、1 个 1.8T WDC WDS200T2B0B、1 个 931.5G 英特尔 SSDPELKX010T8、Ubuntu 22.04.2 LTS、5.15.0-76-generic、4 个英特尔数据中心 GPU Max 1550(仅使用单个 OAM 的单个 Tile 进行测量) GPU 卡)、IFWI PVC 2_1.23166、agama 驱动程序:agama-ci-devel-627.7、英特尔 oneAPI 基础工具包 2023.1、PyTorch 2.0.1 + 英特尔 PyTorch 扩展 v2.0.110+xpu(dev/LLM 分支)、AMC 固件版本:6.5.0.0、型号:Meta AI Llama 2 7B 和 Llama 2 13B、数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);贪婪搜索;精度 FP16;由英特尔于 2023 年 7 月 7 日测试。