ChatGPT 中的语言偏见:语言模型强化了方言歧视

示例语言模型对不同英语变体和母语人士反应的响应。ChatGPT 在用英语与人交流方面表现出色。但是谁的英语?只有 15% 的 ChatGPT 用户来自美国,而美国默认使用标准美式英语。但该模型也广泛用于人们使用其他英语变体的国家和社区。全球有超过 10 亿人使用印度英语、尼日利亚英语、爱尔兰英语和非裔美国人英语等变体。这些非“标准”变体的使用者在现实世界中经常面临歧视。他们被告知说话方式不专业或不正确,被怀疑为证人,并被拒绝住房——尽管大量研究表明所有语言变体都同样复杂和合法。歧视某人的说话方式通常是歧视其种族、民族或国籍的替代方式。如果 ChatGPT 加剧了这种歧视怎么办?为了回答这个问题,我们最近的论文研究了 ChatGPT 的行为如何响应不同英语变体的文本而发生变化。我们发现,ChatGPT 的回应对非“标准”英语表现出一致且普遍的偏见,包括刻板印象和贬低内容的增加、理解力较差以及居高临下的回应。我们的研究我们用十种英语文本提示了 GPT-3.5 Turbo 和 GPT-4:两种“标准”英语,标准美式英语

来源:None

样本语言模型对不同英语和母语者反应的不同品种的反应。

chatgpt在与英语的人交流方面表现非常出色。但是谁的英语?

只有15%的chatgpt用户来自美国,其中标准的美国英语为默认值。但是该模型也通常在人们说其他英语品种的国家和社区中使用。世界各地有超过10亿人讲的品种,例如印度英语,尼日利亚英语,爱尔兰英语和非裔美国人英语。

只有15%

这些非标准品种的说话者经常在现实世界中面临歧视。他们被告知,尽管广泛的研究表明,所有语言品种同样复杂且合法,他们的讲话方式是不专业或不正确的,被视为证人,并被否认为证人。歧视某人说话的方式通常是歧视自己的种族,种族或国籍的代表。如果Chatgpt加剧这种歧视怎么办?

不专业 不正确 被抹黑为证人 拒绝住房 广泛的 研究

为了回答这个问题,我们最近的论文研究了Chatgpt的行为如何响应不同英语的文本而变化。我们发现,ChatGPT响应对非标准品种表现出一致和普遍的偏见,包括增加刻板印象和贬低内容,较差的理解和屈从于响应。

我们最近的论文

我们的研究

我们促使GPT-3.5 Turbo和GPT-4使用十种英语的文字:两个标准品种,标准的美国英语(SAE)和标准英国英语(SBE);还有八种非标准品种,非裔美国人,印度,爱尔兰人,牙买加,肯尼亚人,尼日利亚人,苏格兰和新加坡英语。然后,我们比较了语言模型对标准品种和非标准品种的响应。

结果

含义

在这里了解更多信息:[纸]

[纸]