反馈偏差?研究发现人工智能如何根据种族和性别调整回复

在斯坦福大学的研究中,相同的论文会得到不同的反馈,这可能会对学生的学习产生影响。

来源:KQED | MindShift

AI 模型对女学生的称呼更加亲切,并且使用了更多的第一人称代词。 (“我喜欢你有信心表达自己的观点!”)被标记为没有动力的学生得到了积极的鼓励。相比之下,被描述为高成就或积极性的学生更有可能收到旨在改进他们的工作的直接、批评性的建议。

针对不同的学生使用不同的单词

换句话说,人工智能反馈的语气和对学生的期望都不同。这篇题为“标记教学法:检查个性化自动写作反馈中的语言偏差”的论文尚未在同行评审期刊上发表,但它在挪威第 16 届国际学习分析和知识会议上被提名为最佳论文,该会议定于 4 月 30 日发布。

研究人员将反馈结果描述为显示出“积极反馈偏差”和“反馈抑制偏差”——对某些学生群体给予更多的表扬和更少的批评。虽然任何一篇写作反馈中的差异可能很难被注意到,但这些模式在数百篇文章中是显而易见的。

研究人员认为,人工智能正在改变对相同论文的反馈,因为这些模型接受了大量人类语言的训练。人类教师在回应来自某些背景的学生时也可以软化批评,有时是因为他们不想显得不公平或令人沮丧。 “他们正在发现人类表现出的偏见,”该研究的主要作者、斯坦福大学教育研究生院的博士生 Mei Tan 说。

乍一看,反馈的差异似乎没有什么害处。更多的鼓励可以增强学生的信心。许多教育工作者认为,文化响应式教学——承认学生的身份和经历——可以提高学生在学校的参与度。

但需要权衡。