大型语言模型(LLM)的进步已经改变了自然语言处理领域,并具有巨大的社会科学分析潜力。我们探讨了LLMS在监督文本分类中的应用。作为一个案例研究,我们考虑了立场检测并检查不同体系结构,培训制度和任务规范的预测准确性的变化。我们比较了从8600万到1.7万亿个参数和四个截然不同的培训制度的十个型号:基于及时的零拍学习;几乎没有学习;微调;和指导调节。最大的型号通常提供最佳的预测性能,但是微调较小的型号是一个竞争解决方案,因为它们的精度相对较高,成本较低。对于复杂的预测任务,指导性的开放权重模型可以表现良好,可与最先进的商业模型匹配。我们为社会学研究中使用LLM进行文本分类提供了建议,并讨论了与这些技术使用相关的局限性和挑战。
主要关键词