详细内容或原文请订阅后点击阅览
ProText：测量长文本中（错误）性别的基准数据集
我们引入了 ProText，这是一个用于测量风格多样的长篇英语文本中的性别和性别错误的数据集。 ProText 跨越三个维度：主题名词（姓名、职业、头衔、亲属称谓）、主题类别（典型男性、典型女性、中性/非性别）和代词类别（男性、女性、中性、无）。该数据集旨在探索文本转换中的（错误）性别，例如使用最先进的大型语言模型进行摘要和重写，超越传统的代词解析基准并超越......
来源:Apple机器学习研究我们引入了 ProText，这是一个用于测量风格多样的长篇英语文本中的性别和性别错误的数据集。 ProText 跨越三个维度：主题名词（姓名、职业、头衔、亲属称谓）、主题类别（典型男性、典型女性、中性/非性别）和代词类别（男性、女性、中性、无）。该数据集旨在探讨文本转换中的（错误）性别，例如使用最先进的大型语言模型进行摘要和重写，超越传统的代词解析基准和性别二元。我们通过一个小型案例研究验证了 ProText，表明即使只有两个提示和两个模型，我们也可以得出有关性别偏见、刻板印象、性别歧视和性别歧视的细致入微的见解。我们揭示了系统性的性别偏见，特别是当输入不包含明确的性别线索或模型默认为异性恋假设时。