详细内容或原文请订阅后点击阅览
用Spacy掌握NLP - 第1部分
了解象征化,诱捕性和核心操作。邮政对NLP进行Spacy的掌握 - 第1部分首先出现在数据科学方面。
来源:走向数据科学自然语言处理或NLP是AI的一部分,专注于理解文本。这是关于帮助机器在文本中为我们的应用程序阅读,处理和查找有用的模式或信息。 Spacy是一个使此功能更轻松,更快的库。
spacy今天,许多开发人员使用Chatgpt或Llama等大型NLP任务。这些模型很强大,可以做很多事情,但是它们通常是昂贵且缓慢的。在现实世界项目中,我们需要更加集中和快速的东西。这是Spacy很有帮助的地方。
现在,Spacy甚至可以让您的优势与大型模型(例如Chatgpt)通过Spacy-LLM模块相结合。这是获得速度和力量的好方法。
spacy-llm
安装Spacy
复制并粘贴下一个命令,以使用PIP安装Spacy。
在以下单元格中,用“ - ”代替“&ndash”。
&ndashPython和Ndashm Venv。 Envsource .env/bin/activatePIP install&ndashu pip setuptoop wheelpip sholdpip and&ndashu spacy
Spacy不带有统计语言模型,这是对特定语言进行操作所需的。对于每种语言,都有许多基于用于构建模型本身的资源大小的模型。
支持的所有语言在此处列出:https://spacy.io/usage/models
https://spacy.io/usage/models您可以通过命令行下载语言模型。在此示例中,我正在下载英语语言模型。
Python&Ndashm Spacy下载en_core_web_sm
在这一点上,您准备将模型与load()功能
导入spacynlp = spacy.load(“ en_core_web_sm”)doc = nlp(“这是我要分析的文本示例”)
Spacy Pipeline
当您在Spacy中加载语言模型时,它会通过可以自定义的管道来处理您的文本。该管道由各种组件组成,每个组件都处理特定的任务。以代币为核心,它将文本分解为单个令牌(单词,标点等)。
组件doc
导入spacy