机构名称：
¥ 1.0
一、引言作为在大学从事人工智能 (AI) 研究的人，你与企业 AI 研究巨头（如 Googe DeepMind、OpenAI 和 Meta AI）建立了复杂的关系。每当你看到其中一篇论文，它训练某种巨大的神经网络模型来做一些你甚至不确定神经网络是否可以做的事情，毫无疑问地推动了最先进的技术并重新配置了你对可能性的看法，你就会感到矛盾。一方面：这非常令人印象深刻。你推动人工智能向前发展，真是太好了。另一方面：我们怎么可能跟上？作为一名人工智能学者，领导一个实验室，里面有几名博士生和（如果你幸运的话）一些博士后研究员，也许你的实验室里有几十个图形处理单元 (GPU)，这种研究根本无法进行。需要明确的是，情况并非总是如此。就在十年前，如果你有一台不错的台式电脑和互联网连接，你就拥有了与最优秀的研究人员竞争所需的一切。开创性的论文通常是由一两个人撰写的，他们在常规工作站上运行所有实验。指出这一点对于过去十年内进入研究领域、需要大量计算资源的人来说尤其有用。如果我们从深度学习 [ 9 ] 中学到了一件事，那就是扩展是有效的。从 ImageNet [ 19 ] 竞赛及其各届获奖者到 ChatGPT、Gato [ 17 ] 以及最近的 GPT-4 [ 1 ]，我们已经看到，更多的数据和更多的计算可以产生更好的定量结果，甚至通常是更好的定性结果。（当你读到这篇文章时，那份最近的人工智能里程碑列表可能已经过时了。）当然，学习算法和网络架构也有所改进，但这些改进主要在大规模实验的背景下有用。 （Sutton 谈到了“苦药丸”，指的是当有更多计算可用时，扩展性好的简单方法总能获胜 [ 22 ]。）如今，学术研究人员无法实现这种规模。据我们所知，普通研究人员可用的计算量与保持竞争力所需的计算量之间的差距每年都在扩大。这在很大程度上解释了许多学术界的人工智能研究人员对这些公司的不满。健康
抑郁的人工智能学者的生存策略
主要关键词
相关文件推荐
