8 年机器学习经验教训

已有十年历史了。

当时，OpenAI 感觉就像是众多初创公司中的一家（成熟的）。 DeepMind 已经存在，但尚未完全集成到 Google 中。当时，“深度学习三巨头”——LeCun、Hinton 和 Bengio——发表了《Deep Learning in Nature》*。

如今，人工智能就像一种共同利益。当时，了解并关心它的主要是学者和技术宅。如今，即使是孩子也知道人工智能是什么并与之互动（更糟或更糟）。

这是一个快节奏的领域，我很幸运在“那时”不久就加入了这个领域——八年前，当时势头正在增强，但大学里仍在教授经典的机器学习：聚类、k-means、SVM。这也恰逢社区开始理解我们所需要的就是注意力（和线性层）的那一年。换句话说，这是开始学习机器学习的好时机。

随着岁月的流逝，感觉是时候缩小范围了。我每月都会反思一些小的、实用的课程并将其发布。大约每半年，我就会寻找下面更大的主题：即使项目发生变化，也会不断重复出现的模式。

这次，我的笔记中到处都出现了四个线程：

深度工作（我一直以来的最爱）

对自己作品的过度认同

体育（以及一般运动）

博客

深度工作

深度工作似乎是我最喜欢的主题 - 在机器学习中它随处可见。

机器学习作品可以有多个焦点，但大多数时候都围绕以下方面的组合：

理论（数学、证明、仔细推理），

编码（管道、训练循环、调试），

写作（项目报告、论文、文档）。

所有这些都需要长时间持续集中注意力。

定理证明不会从五分钟的片段中出现。不用说，编码会惩罚干扰：如果你深陷 bug，有人把你拉出来，你不只是“恢复”——你需要重新构建，这只会浪费时间**。

筋疲力尽，但很满足。

你喜欢你的工作吗？

哇！