LLM 在少样本 NER 中占据主导地位吗?第三部分

通过使用基于 LLM 的方法比较其性能,探索 LLM 在少样本命名实体识别 (NER) 中的有效性。

来源:Clarifai博客 | 实际应用中的人工智能

在本系列之前的博客文章中,我们描述了传统的小样本命名实体识别 (NER) 方法,并讨论了如何使用大型语言模型 (LLM) 来解决 NER 任务。在这篇文章中,我们将缩小这两个领域之间的差距,并应用基于 LLM 的方法进行小样本 NER。

传统的少样本命名实体识别 (NER) 方法 传统的少样本命名实体识别 (NER) 方法 如何使用大型语言模型 (LLM) 解决 NER 任务 如何使用大型语言模型 (LLM) 解决 NER 任务

提醒一下,NER 是在文本中查找和分类命名实体的任务,例如人名、组织名称、地点名称等。在少样本场景中,只有少量标记示例可用于训练或调整 NER 系统,而训练深度学习模型通常需要大量数据。

带标签的 NER 句子示例

带标签的 NER 句子示例

使用 LLM 进行少样本 NER

使用 LLM 进行少样本 NER

虽然基于 Transformer 的模型(例如 BERT)已经作为针对 NER 进行微调的模型的主干使用了相当长一段时间,但最近人们越来越有兴趣了解使用少样本示例提示预训练的仅解码器 LLM 执行各种任务的有效性。

GPT-NER 是一种提示 LLM 执行 NER 的方法,由 Shuhe Wang 等人提出。它们提示语言模型检测一类命名实体,在提示中显示一些输入和输出示例,其中在输出中实体用特殊符号标记(@@ 标记命名实体的开始,## 标记命名实体的结束)。

GPT-NER GPT-NER @@ ##

GPT-NER 提示。提示中示例输出的所有事件实体都标有“@@”(命名实体的开头)和“##”(命名实体的结尾)

A GPT-NER GPT-NER GPT-NER CoNLL-2003 CoNLL-2003 Few-NERD Few-NERD

什么是 Few-NERD?

什么是 Few-NERD? Few-NERD Few-NERD (Ding et al., 2021) (Ding et al., 2021) person location @@ ##