LLM 是随机算法

最新的人工智能模型与 50 年历史的学术领域之间令人惊讶的联系法学硕士后是随机算法首先出现在《走向数据科学》上。

来源:走向数据科学

,我是斯坦福大学的研究生。这是“随机算法”课程的第一堂课,我坐在中间一排。 “随机算法是一种做出随机决策的算法,”教授说。 “为什么要研究随机算法?您应该研究它们,因为对于许多应用来说,随机算法是最简单的已知算法,也是最快的已知算法。”

随机算法

这句话让年轻的我大吃一惊。采取随机决策的算法可能比采取确定性、可重复决策的算法更好,即使对于存在确定性、可重复算法的问题也是如此?这位教授一定是疯了! —— 我想。他不是。这位教授是拉吉夫·莫特瓦尼 (Rajeev Motwani),他后来获得了哥德尔奖,也是谷歌搜索引擎算法的合著者。

随机 确定性 可重复

随机算法自 20 世纪 40 年代以来一直在研究,是一类具有深奥特性的深奥算法,由稀有、深奥的学术界的深奥人士研究。比随机算法更不被认识到的是,最新的人工智能——大语言模型(LLM)——是随机算法。链接是什么,为什么?继续读下去,答案会让你大吃一惊。

随机算法和对手

随机算法是一种采用随机步骤来解决确定性问题的算法。举一个简单的例子。如果我想对一百个数字进行相加,直接相加即可。但是,为了节省时间,我可能会执行以下操作:我将随机选择其中的 10 个,仅将这 10 个相加,然后将结果乘以 10,以补偿我实际上只汇总了 10% 数据的事实。有一个明确、准确的答案,但我使用随机化来近似它。我节省了时间 ——当然,这是以牺牲一些准确性为代价的。

随机步骤 有偏差的样本 大多数情况下 概率 金额 对抗性设计
对手可能会搞砸算法
对手