AI语言模型越来越塑造经济学研究写作,研究发现

新的马萨诸塞州阿默斯特大学的研究提供了明确的证据,表明大型语言模型(例如ChatGpt)如何重塑学术研究的景观。它采用了一种新的语言分析方法,可以帮助确定人类是否正在从AI中获得协助,以执行学术界内外的一系列任务。

来源:英国物理学家网首页
信用:Pixabay/CC0公共领域

新的马萨诸塞州阿默斯特大学的研究提供了明确的证据,表明大型语言模型(例如ChatGpt)如何重塑学术研究的景观。它采用了一种新的语言分析方法,可以帮助确定人类是否正在从AI中获得协助,以执行学术界内外的一系列任务。

该论文发表在《经济学杂志》上,揭示了经济学家在学术写作中对LLM的明显和加速采用。

已发布 经济信函

通过分析24年来25种顶级经济期刊的写作风格,玛丽亚姆·费佐比(Maryam Feyzollahi)和尼玛·拉菲扎德(Nima Rafizadeh)是UMASS Amherst资源经济学系的博士生,发现Chantgpt的语言模式发生了重大变化,该语言模式在2022年底就可以使用。

写作样式

特征语言在2023 - 24年发表的经济学论文中增加了近5个百分点。值得注意的是,从第一年到第二年,这种效果增加了一倍以上,从2023年的大约3个百分点增加到2024年的近7个,这表明经济学家随着时间的推移对LLM工具变得越来越舒适。

“将其视为语言指纹,” Feyzollahi解释说。 “与传统学术写作相比,AI辅助写作倾向于更频繁地使用某些单词和短语。”

他们比较了25个AI相关术语的频率,例如“下划线”,“ Nuance”和“ Leverage” - 加入一个传统经济学术语的对照组,以衡量AI如何影响学术写作。

“我们正在研究成千上万篇论文的统计模式,”拉菲扎德指出。 “这使我们能够检测出语言模式的细微变化,这在单一论文中不可能注意到。”

feyzollahi和Rafizadeh表示,他们的估计值可能是保守的,因为该方法仅捕获AI的语言而不是分析或编码的使用,并且作者可能已经在修改LLM生成的文本以掩盖其来源。