通过论文简短的GPT历史

语言模型变得非常好。但是它们来自哪里?该帖子首先通过论文介绍了GPT的简短历史。

来源:走向数据科学

首先是关于语言模型的系列,并涵盖了发行CHAT-GPT的进步。

0)序言:图灵测试

1950年10月,艾伦·图灵(Alan Turing)提出了一项测试。是否有可能与机器进行对话,并且不能说除了人类之外。他称这个“模仿游戏”。它是在“计算机和智能”论文中引入的。他打算将此测试用作更深层,更含糊的问题的代理,“可以思考”。

七十年后,即2020年,来自Openai的几种大型语言模型通过了现代,严格的测试变体。

2022年,Openai公开发布了Chatgpt,并立即吸引了世界的“注意力”。

如果您没有开玩笑,那么您将在本文结尾处。 Midjourney的图像

这是您几乎任何主题的第一个聊天机器人(第一个明显的Turing测试破坏者)进行了扩展对话。

从那以后,我们知道这项技术的破坏性是多么的破坏性,诸如OpenAI和人道培训和托管这些模型等公司成为历史上增长最快的公司。

虽然看起来像是在表面上,但是在真空和一夜之间不会发生这种进步。在封面下,在这种事件中最终达到了最终的最终进步。的确,在2020年突破之前,有一系列活动(就论文而言)。从那时起,随着这些模型继续获得新功能并提高的其他许多重要发展。

由于景观开始稳定,因此现在是审查导致这一突破的一些关键论文的好时机。

在下图中是我们将在本章中介绍的论文的时间表(14在轴上是指2014年,等等)。

关键论文的历史。作者的图像。

导致量子飞跃实现的关键结构称为变压器。那么,背后的深刻见解是什么?

i)变形金刚:减去,不添加