详细内容或原文请订阅后点击阅览
改变人工智能开发的 Python 生态系统
一个开源生态系统如何让最先进的人工智能变得易于使用《改变人工智能发展的 Python 生态系统》一文首先出现在《走向数据科学》上。
来源:走向数据科学最近学习或生成人工智能,或者花时间探索 GitHub AI 项目存储库,你几乎肯定遇到过 Hugging Face(我什至打赌你几乎在每个项目中都遇到过它!)。
也许您甚至使用了它的预训练模型之一,从其 Hub 加载了数据集,或者遵循了使用 Transformers 库的教程。如今,Hugging Face 已成为 AI 生态系统的核心部分,许多开发人员每天都在使用它,但没有充分意识到它对我们构建 AI 的方式产生了多大的改变。
Hugging Face 不仅仅是另一个用于 AI 的 Python 库。这个生态系统改变了研究人员共享模型、工程师构建人工智能应用程序以及新人尝试最先进机器学习的方式。
刚接触人工智能的人可能会问的问题是:为什么?毕竟,Hugging Face 并没有发明变形金刚。它没有创造 BERT、GPT 或 Llama。那么它是如何成为现代人工智能的核心部分的呢?
为了回答这个问题,让我们回到不远的过去,了解一下在 Hugging Face 出现之前人工智能的发展是什么样的。
在抱脸之前,AI 发展是什么样的?
想象一下阅读一篇关于新的最先进语言模型的论文;这篇论文很有趣,所以你想亲自尝试一下。您可能采用的方式(与我以前的方式相同)是通过看起来像这样的工作流程:
研究论文 → GitHub 存储库 → 克隆代码 → 安装依赖项 → 下载权重 → 修复版本冲突 → 运行模型。
现在,理论上,该工作流程应该可以正常工作。但每个研究小组的项目结构都不同。有些人使用 TensorFlow,其他人使用 PyTorch!配置文件位于不同的地方,依赖关系经常被破坏,并且复制已发布的工作可能需要几个小时,或更实际的是几天。
更糟糕的是,切换到另一个模型通常意味着学习全新的代码库。
Hugging Face 生态系统包括:5. Accelerate 让分布式训练变得更容易。
空格