什么是命名实体识别 (NER) – 示例、用例、优势和挑战

每当我们听到一个单词或阅读一段文字时,我们都有自然的能力来识别单词并将其归类为人物、地点、位置、价值观等。人类可以快速识别单词、对其进行分类并理解上下文。例如,当您听到“史蒂夫·乔布斯”这个词时,您会立即想到 […]

来源:Shaip 博客

每当我们听到一个单词或阅读一段文本时,我们都有自然的能力来识别该单词并将其归类为人物、地点、位置、价值观等。人类可以快速识别一个单词、对其进行分类并理解上下文。例如,当您听到“史蒂夫·乔布斯”这个词时,您可以立即想到至少三到四个属性并将实体分成几类,

    人:史蒂夫·乔布斯公司:苹果地点:加利福尼亚
  • 人:史蒂夫·乔布斯
  • 人:
  • 公司:苹果
  • 公司:
  • 地点:加利福尼亚
  • 地点:

    由于计算机没有这种自然能力,因此它们需要我们的帮助来识别单词或文本并对其进行分类。这就是命名实体识别 (NER) 发挥作用的地方。

    命名实体识别 (NER) 命名实体识别 (NER)

    让我们简要了解一下 NER 及其与 NLP 的关系。

    什么是命名实体识别?

    命名实体识别是自然语言处理的一部分。NER 的主要目标是处理结构化和非结构化数据,并将这些命名实体分类为预定义类别。一些常见类别包括姓名、位置、公司、时间、货币价值、事件等。

    NER 结构化和非结构化数据

    简而言之,NER 处理:

      命名实体识别/检测 - 识别文档中的一个单词或一系列单词。命名实体分类 - 将每个检测到的实体分类到预定义类别中。
  • 命名实体识别/检测 – 识别文档中的一个单词或一系列单词。
  • 命名实体分类 – 将每个检测到的实体分类到预定义的类别中。
  • 但是 NER 与 NLP 有何关系?

    自然语言处理有助于开发能够从语音和文本中提取含义的智能机器。 机器学习通过对大量自然语言数据集进行训练来帮助这些智能系统继续学习。

    数据集 数据集

    通常,NLP 包含三大类:

  • 理解语言的结构和规则 – 语法
  • 语法 语义 – 语音