ProText: A Benchmark Dataset for Measuring (Mis)gendering in Long-Form Texts
我们引入了 ProText，这是一个用于测量风格多样的长篇英语文本中的性别和性别错误的数据集。 ProText 跨越三个维度：主题名词（姓名、职业、头衔、亲属称谓）、主题类别（典型男性、典型女性、中性/非性别）和代词类别（男性、女性、中性、无）。该数据集旨在探索文本转换中的（错误）性别，例如使用最先进的大型语言模型进行摘要和重写，超越传统的代词解析基准并超越......
