选项 1:机器学习简介 本课程将为您提供对机器学习模型(逻辑回归、多层感知器、卷积神经网络、自然语言处理等)的基本理解,并展示这些模型如何解决从医疗诊断到图像识别再到文本预测等各种行业的复杂问题。此外,我们还设计了练习,让您亲身体验在数据集上实施这些数据科学模型。这些练习将教您如何使用 PyTorch 实现机器学习算法,PyTorch 是机器学习领域领先的科技公司(例如 Google、NVIDIA、可口可乐、eBay、Snapchat、Uber 等)使用的开源库。
12 Habana Gaudi2 深度学习加速器:所有测量均使用 Habana SynapseAI 版本 1.10 和 optimum-habana 版本 1.6 在 HLS2 Gaudi2 服务器上进行,该服务器具有八个 Habana Gaudi2 HL-225H 夹层卡和两个 Intel Xeon Platinum 8380 CPU @ 2.30GHz 和 1TB 系统内存。性能测量于 2023 年 7 月进行。第四代英特尔至强 8480:英特尔第四代至强铂金 8480+ 2 插槽系统,112 核/224 线程,Turbo Boost 开启,超线程开启,内存:16x32GB DDR5 4800MT/s,存储:953.9GB);操作系统:CentOS Stream 8;内核:5.15.0-spr.bkc.pc.16.4.24.x86_64;批次大小:1;在 1 个插槽上测量:1;PyTorch 每日构建 0711;英特尔® PyTorch 扩展标签 v2.1.0.dev+cpu.llm;模型:Llama 2 7B 和 Llama 2 13B;数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);波束宽度 4;精度:BF16 和 INT8;英特尔于 2023 年 7 月 12 日进行测试。英特尔至强 Max 9480:英特尔至强 Max 9480 2 插槽系统,112 核/224 线程,Turbo Boost 开启,超线程开启,内存:16x64GB DDR5 4800MT/s;8x16GB HBM2 3200 MT/s,存储:1.8TB;操作系统:CentOS Stream 8;内核:5.19.0-0812.intel_next.1.x86_64+server;批次大小:1;在 1 个插槽上测量;PyTorch nightly build0711;英特尔® PyTorch 扩展 llm_feature_branch;模型:Llama 2 7B 和 Llama 2 13B,数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);波束宽度 4;精度:BF16 和 INT8;英特尔于 2023 年 7 月 12 日进行测试。英特尔数据中心 GPU Max 系列:1 个节点、2 个英特尔至强铂金 8480+、56 个内核、超线程开启、睿频开启、NUMA 2、总内存 1024GB(16x64GB DDR5 4800 MT/s [4800 MT/s])、BIOS SE5C7411.86B.9525.D19.2303151347、微码 0x2b0001b0、1 个以太网控制器 X710(用于 10GBASE-T)、1 个 1.8T WDC WDS200T2B0B、1 个 931.5G 英特尔 SSDPELKX010T8、Ubuntu 22.04.2 LTS、5.15.0-76-generic、4 个英特尔数据中心 GPU Max 1550(仅使用单个 OAM 的单个 Tile 进行测量) GPU 卡)、IFWI PVC 2_1.23166、agama 驱动程序:agama-ci-devel-627.7、英特尔 oneAPI 基础工具包 2023.1、PyTorch 2.0.1 + 英特尔 PyTorch 扩展 v2.0.110+xpu(dev/LLM 分支)、AMC 固件版本:6.5.0.0、型号:Meta AI Llama 2 7B 和 Llama 2 13B、数据集 LAMBADA;令牌长度:32/128/1024/2016(输入)、32(输出);贪婪搜索;精度 FP16;由英特尔于 2023 年 7 月 7 日测试。
2 前馈神经网络 7 2.1 梯度下降. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.2 Colab、Python、Tensorflow、Keras 和 Pytorch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.3.2 非线性激活 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ... 15 2.6.1 训练. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
(例如,CSC 413/2516)•对神经网和CNN的坚实熟悉•线性代数的固体背景•多元计算和概率•差分方程将有用•编程技能(例如,Tensorflow或Pytorch,如果
•您需要熟悉至少一种编程语言•您需要精通编写功能并有效地使用它们。•在Python中实施了许多ML工作,并与Numpy和Pytorch等库进行了。
6 讲:高性能计算架构和并行编程模型。 1 讲:学习使用 Northeastern Discovery 集群 1 讲:Linux Essentials 1 讲:超级计算集群作业调度系统 SLURM 简介 4 讲:Python 中的并行性 4 讲:并行机器学习 1 讲:高性能深度学习简介 1 讲:GPU 和 CUDA 简介 1 讲:PyTorch 简介 4 讲(或更多):PyTorch 中的并行深度学习 2 讲:HPC、机器学习、深度学习会议和讨论(这取决于会议是否可用) 4-6 讲:项目流程 注意:此时间表可能会更改,并将在整个学期根据需要进行调整。详细信息显示在 Canvas 上的教学大纲中
带有相关 Tensorflow* 或 PyTorch* 内核的 Jupyter* 笔记本,从源代码存储库克隆训练示例笔记本 (ipynb 文件),使用所选数据集训练模型并将训练好的模型上传到您选择的存储设施。通过“启动 Red Hat OpenShift Data Science”学习路径了解有关如何使用 Red Hat* OpenShift* Data Science 的更多信息。对于本教程中选择的示例,我们假设开发人员已完成此部分,并将训练好的 PyTorch* 肾脏分割模型上传到 AWS* S3 存储桶。为方便起见,我们以 OpenVINO™ 中间表示 (IR) 文件的形式为本练习提供预训练模型。有关说明,请参阅先决条件部分。2. 不同英特尔® 硬件上的 AI 模型推理利用了英特尔® 开发者云
•这是Microsoft开发的深速库和NVIDIA的Megatron-LM框架•DeepSpeed是Pytorch的开源深度学习优化库•Megatron-lm是用于训练大型变压器语言模型的框架
描述此研究生级课程的重点是机器学习与计算生物学之间的令人兴奋的交集。我们将涵盖现代机器学习技术,包括受监督和无监督的学习,特征选择,概率建模,图形模型,深度学习等。学生将学习这些方法的基本原则,基本的数学和实施细节。通过阅读和批评发表的研究论文,学生将学习机器学习方法在基因组学,单细胞分析,结构生物学和系统生物学中的各种生物学问题上的应用。学生还将通过深入的编程作业使用Pytorch学习使用Pytorch来实施深度学习模型。在最终项目中,学生将通过以生物学问题探索这些概念来应用他们所学的知识,以充满热情。