学习如何将变压器与拥抱面和Spacy

简介

NLP的艺术体系结构的状态不仅是。 Chatgpt，Llama和Gemma之类的现代模型是基于2017年引入的这种架构，这是Vaswani等人所需的论文。

在上一篇文章中，我们看到了如何使用Spacy完成多个任务，您可能已经注意到我们从来没有训练任何东西，但是我们利用了Spacy功能，这主要是基于规则的方法。

上一篇文章

Spacy还提供了在NLP管道可训练的组件中插入的，或使用🤗huggingface Hub的架子上的型号，该组件是一个在线平台，它为AI开发人员提供了开源模型。

🤗

因此，让我们学习如何将Spacy与Hugging Face的模型一起使用！

为什么要变压器？

在变压器之前，SOTA架构创建单词的向量表示是单词矢量技术。单词向量是一个单词的密集表示，我们可以用它来对其进行一些数学计算。

字向量

例如，我们可以观察到具有相似含义的两个单词也具有相似的向量。这种最著名的技术是手套和fastText。

手套 fastText

这些方法引入了一个大问题，一个词总是由同一向量表示。但是一个词并不总是具有相同的含义。

例如：

“她去银行撤回了一些钱。”“他坐在河岸坐在河岸，看着水流。”

“她去银行撤回了一些钱。”

银行

“他坐在河岸，看着水流。”

在这两个句子中，银行一词假定了两个不同的含义，因此总是用相同的向量表示单词是没有意义的。

使用基于变压器的体系结构，我们今天能够创建模型，以考虑整个上下文以生成单词的矢量表示。

考虑整个上下文的模型

src：https：//arxiv.org/abs/1706.03762

https://arxiv.org/abs/1706.03762 编码器 解码器 垃圾邮件 https://arxiv.org/abs/1706.03762 编码器 解码器垃圾邮件