详细内容或原文请订阅后点击阅览
这些初创公司正在追逐法学硕士的下一个重大目标
《麻省理工科技评论》的“下一步是什么”系列着眼于各个行业、趋势和技术，让您对未来有一个初步的了解。您可以在此处阅读其余内容。早在 2017 年夏天，谷歌的人工智能研究人员就发表了一篇名为《注意力就是你所需要的》的论文，其中他们描述了一种新的……
来源:MIT Technology Review _人工智能事实证明这个过程也适用于文本。 Inception 已经训练其法学硕士随机抽取一串单词并将其转化为有意义的句子。扩散法学硕士仍然使用转换器来编码含义，但通过一次生成整个文本块，它们使转换器以更少的成本做更多的事情。 Inception 的联合创始人兼首席执行官 Stefano Ermon 表示：“你仍在使用大型 Transformer 模型，但你可以同时预测许多代币。” “这就是为什么与当今大多数其他人构建的模型相比，这些模型更快且更具成本效益。”
面临的挑战是采用一种专为图像生成而设计的技术并将其应用于文本。埃尔蒙说，对于图像，如果您需要将蓝色像素更改为红色像素，您可以逐步使用中间颜色。这不适用于文本：“当你有‘猫’和‘狗’时，之间就没有真正的东西了。”
Ermon 也是斯坦福大学的研究员。 2024 年，他和两位斯坦福大学同事计算出了使扩散模型与文本一起工作的数学原理。他们训练了一个扩散模型，其性能与 GPT-2（OpenAI 在 2019 年建立的法学硕士）的性能相匹配，但速度快了 10 倍。对于埃尔蒙来说，这足以成立一家公司。
今天他的目光投向了大联盟。 Inception 声称其最新模型 Mercury 2 的性能与 2023 年发布的 OpenAI 的一些 GPT-4 模型相当，但速度又快了 10 倍。 “我们看好这种方法，因为它会扩大规模，”埃尔蒙说。
唯一重要的是速度和成本，他补充道：“最终，货币将是每一美元的情报。”
Inception 并不是唯一一家押注于扩散的公司。谷歌也在尝试这种方法，并建立了一个名为 Diffusion Gemma 的法学硕士原型。但埃尔蒙并不担心竞争。 “我认为这是有效的，”他说。 “这就是未来。”