R.E.D。:用专家授权缩放文本分类

一个新颖的大规模半监督框架,通过LLMS The Post R.E.D。增强传统分类:使用专家代表团进行扩展文本分类,这首先出现在数据科学方面。

来源:走向数据科学

随着大型语言模型(LLMS)的新时代解决问题的新时代,只有少数问题仍然具有低于标准的解决方案。大多数分类问题(在POC级别上)可以通过仅利用良好的及时工程技术以及适应性的内部文化学习(ICL)示例来利用LLM 70–90%的精度/F1来解决。

当您想始终如一地实现高于此的性能时会发生什么 - 及时工程不再足够?

更高

分类难题

文本分类是监督学习的最古老,最受理解的例子之一。鉴于这个前提,构建可处理大量输入类的功能良好,表现出色的分类器真的不难,对吗?

welp。这是。

实际上必须对算法通常期望在以下工作的“约束”中做更多的事情:

    每个分类分类精度的培训数据少(随着您添加更多类的局部下降),可能在现有的类别培训/推论培训(潜在的)中添加新类,实际上是大量的培训类(潜在的)由于数据漂移等,需要重新培训某些类别。
  • 每个课程的培训数据量低
  • 高分类精度(随着您添加更多类时,
  • 可能在类的现有子集中添加新类
  • 新类
  • 快速培训/推理
  • 成本效益
  • (可能)确实大量的培训课程
  • (潜在的)无休止的需要重新训练由于数据漂移而导致的某些类。
  • 必需 一些

    在这些条件下,是否曾尝试过建立几十个类别的分类器? (我的意思是,即使是GPT也可能只需几个样本即可完成〜30个文本课程的出色工作……)

    一个样本。

    R.E.D.算法

    R.E.D:递归专家代表团 递归 根本不同 半监督学习

    让我们潜水。

    它的工作原理

    R.E.D.的简单表示做
    分割和征服 有效学习 如何 s n l c