机构名称：
¥ 2.0
文本数据的可用性越来越多，自然语言进步（NLP）已改变了经济学领域，使研究人员能够从大量非结构化数据中提取有价值的见解（Gentzkow等人。2019年，Ash和Hansen 2023）。Text-As-DATA分析始于基本模型（例如字袋），它随着大语模型（LLM）的发展而大大发展。这些模型（例如Bert和GPT）为理解和分析文本开辟了新的可能性，尤其是通过捕获较早方法来解决的语言的上下文和细微差别。从历史上看，词袋模型及其扩展（如n grams）主导了经济学中的文本分析格局。尽管这些模型在许多应用程序中都是有效的，但它们在文本中可以表示的信息限制，因为它们依赖于计数单词和短语，而不是了解文档中的长期连接。LLM的出现，尤其是基于变压器档案的人的出现，通过采用注意操作来克服许多限制，从而使模型可以以上下文依赖性方式权衡不同单词的重要性（Vaswani等人2017）。这项创新显着提高了模型解释和生成文本的能力，使LLMS成为经济研究的宝贵工具。近年来，LLM在经济和相关领域中的应用迅速扩大。研究人员已经开始在特定于域的数据集上微调这些模型，创建了诸如Finbert之类的专业版本（Yang等人。2023）。2020）用于财务文本和克利伯特伯特（Webersinke等人。2021）用于气候相关的文档。这些适应性证明了LLM在特定领域提高性能的潜力，从而对针对不同领域的独特需求量身定制的更准确和上下文感知的分析。尤其是这些微调模型可以预测与文档有关的元数据变量，例如工作职位中的薪水或远程工作选项（Bana 2022，Hansen等，Hansen等人。最近，实施工具来帮助LLMS遵循指示，并对人类反馈做出反应，导致了一代强大的AI助手（例如Chatgpt）的出现。这些模型可以执行以前认为需要人类智能的许多任务（Korinek 2023）。可以以有意义有效的方式与用户互动的AI助手，为将NLP应用于经济政策分析，市场研究以及其他方面提供了新的机会。尽管LLM有潜力，但它们在经济学中的采用并非没有挑战。这些模型的复杂性和规模，再加上训练它们所需的大量资源，引起了人们对可访问性和透明度的担忧。此外，经常从互联网中采购的广泛文本的依赖，引入了风险重新 -
经济学中的大型语言模型
主要关键词
相关文件推荐
