详细内容或原文请订阅后点击阅览

使用 MLX 和 M5 GPU 中的神经加速器探索法学硕士

2025年11月19日 00:00 33 Comments
X Twitter Instagram Mail

采用 Apple 芯片的 Mac 越来越受到那些有兴趣使用 Mac 来试验最新模型和技术的人工智能开发人员和研究人员的欢迎。借助 MLX，用户可以在 Mac 上高效地探索和运行 LLM。它允许研究人员在自己的硬件上试验新的推理或微调技术，或在私人环境中研究人工智能技术。 MLX 可与所有 Apple 芯片系统配合使用，并且在最新的 macOS beta 版本1中，它现在可以利用新款 14 英寸 MacBook Pro 中引入的新型 M5 芯片中的神经加速器。神经...

来源:Apple机器学习研究

采用 Apple 芯片的 Mac 越来越受到那些有兴趣使用 Mac 来试验最新模型和技术的人工智能开发人员和研究人员的欢迎。借助 MLX，用户可以在 Mac 上高效地探索和运行 LLM。它允许研究人员在自己的硬件上试验新的推理或微调技术，或在私人环境中研究人工智能技术。 MLX 可与所有 Apple 芯片系统配合使用，并且在最新的 macOS beta 版本1中，它现在可以利用新款 14 英寸 MacBook Pro 中引入的新型 M5 芯片中的神经加速器。神经加速器提供专用的矩阵乘法运算，这对于许多机器学习工作负载至关重要，并且可以在 Apple 芯片上实现更快的模型推理体验，如本文所示。

1

什么是 MLX

MLX 是一个开源阵列框架，高效、灵活且针对 Apple 芯片进行了高度调整。您可以将 MLX 用于各种应用，从数值模拟、科学计算到机器学习。 MLX 内置对神经网络训练和推理的支持，包括文本和图像生成。 MLX 可以轻松地在 Apple 芯片设备上使用大型语言模型生成文本或对其进行微调。

MLX

MLX 利用 Apple Silicon 的统一内存架构。 MLX 中的操作可以在 CPU 或 GPU 上运行，无需移动内存。该 API 紧密遵循 NumPy，既熟悉又灵活。 MLX 还具有更高级别的神经网络和优化器包以及用于自动微分和图形优化的函数转换。

NumPy

在 Python 中开始使用 MLX 非常简单：

pip 安装 mlx

要了解更多信息，请查看文档。 MLX 还提供大量示例，可作为构建和使用许多常见 ML 模型的切入点。

文档 示例 MLX Swift

在 Apple Silicon 上运行法学硕士

pip 安装 mlx-lm
mlx_lm.chat mlx_lm.convert .3 mlx_lm.generate 内存 (GB)
机器学习 Mac 数值模拟 人工智能 轻松地 内存 度调整 科学计算 推理 研究人员 优化 模型生成 切入点 高度调整 图像生成 示例 mlx MLX 芯片 矩阵乘法 引入的 神经网络 开发人员 专用的 使用 自己的 技术的 最新的 lm 模型 工作负载 模型的 运行 加速器 Apple