详细内容或原文请订阅后点击阅览
在人工智能聊天机器人的“狂野西部”，与种族和种姓有关的微妙偏见往往得不到控制
LinkedIn 的招聘助理引发了对 AI 招聘工具偏见的担忧。研究人员发现许多模型会产生有害内容，尤其是有关种姓的内容。文章“在 AI 聊天机器人的“狂野西部”，与种族和种姓有关的微妙偏见往往得不到控制”首次出现在《科学探究者》上。
来源:Scientific Inquirer最近，LinkedIn 宣布推出招聘助理，这是一款人工智能“代理”，可执行招聘人员工作中最重复的部分 - 包括在面试前后与求职者互动。LinkedIn 的机器人是越来越多工具中最引人注目的例子 - 例如 Tombo.ai 和 Moonhub.ai - 它们部署大型语言模型与求职者互动。
LinkedIn 宣布推出招聘助理 人工智能“代理” Tombo.ai Moonhub.ai鉴于招聘很重要 - 与推荐袜子的系统相比 - 华盛顿大学的研究人员试图探索偏见如何在这些系统中表现出来。虽然许多著名的大型语言模型（LLM）（例如 ChatGPT）都内置了防护装置来捕捉明显的偏见（例如诽谤），但系统性偏见仍然可能在聊天机器人交互中悄然出现。此外，由于许多系统都是在西方国家创建的，因此它们的防护装置并不总是能识别非西方的社会概念，例如南亚的种姓。
研究人员研究了检测偏见的社会科学方法，并开发了一个七度量系统，他们用这个系统在模拟工作筛选中测试了八个不同的 LLM 是否存在种族和种姓偏见。他们发现八个模型中有七个在互动中生成了大量有偏见的文本——尤其是在讨论种姓时。开源模型的表现远不如两个专有的 ChatGPT 模型。
该团队于 11 月 14 日在迈阿密举行的自然语言处理实证方法会议上展示了他们的研究结果。
介绍了研究结果视频
Tanu Mitra为了对这些隐性伤害进行分类，该团队借鉴了社会科学理论，创建了隐性伤害和社会威胁 (CHAST) 框架。它包含七个指标，包括“能力威胁”（一种破坏群体能力的方式）或“象征性威胁”（当群体成员将外部人员视为对其价值观、标准或道德的威胁时发生）。
骆驼处理...
Preetam Dammu