详细内容或原文请订阅后点击阅览
意义地图:嵌入模型如何“理解”人类语言
了解为什么嵌入模型就像意义的 GPS。它不是搜索确切的单词,而是导航“想法地图”来查找具有相同氛围的概念。从电池类型到汽水口味,了解如何微调这些数字指纹,以在下一个人工智能项目中实现精确度。 文章《意义地图:嵌入模型如何“理解”人类语言》首先出现在《走向数据科学》上。
来源:走向数据科学如果您从事人工智能开发工作,如果您正在学习或计划使用该技术,您肯定会在旅途中偶然发现嵌入模型。
本质上,嵌入模型是一种神经网络,经过训练可以将类似的单词或句子映射到连续的向量空间中,其目标是在数学上近似那些上下文或概念上相似的对象。
用更简单的话说,想象一个图书馆,其中的书籍不仅按作者和标题分类,还按许多其他维度分类,例如氛围、主题、情绪、写作风格等。
另一个很好的类比是地图本身。想象一张地图和两个你不知道的城市。假设您不太擅长地理,并且不知道东京和纽约市在地图上的位置。如果我告诉你我们应该在纽约吃早餐,在东京吃午餐,你可以说:“我们开始吧”。
但是,一旦我给你坐标,让你在地图上查看这些城市,你会发现它们彼此相距很远。这就像将嵌入赋予模型:它们是坐标!
构建地图
甚至在您提出问题之前,嵌入模型就已经过训练。它已经阅读了数百万个句子并记录了模式。例如,它发现“猫”和“小猫”经常出现在同类句子中,而“猫”和“冰箱”很少出现。
通过这些模式,模型为每个单词分配数学空间上的一组坐标,就像一张看不见的地图。
数字指纹
不错。现在我们知道地图是如何创建的了。接下来会发生什么?
