应测试并持续监控采用人工智能的系统,以防其因群体成员身份而对任何群体或个人造成不成比例的影响。偏见可以在人工智能系统的许多层面上引入,包括选择用于训练的数据、算法本身以及用户与系统的交互方式。与群体成员身份相关的偏见,通常称为文化偏见,是一种需要监控和测试的重要偏见类型。它通常源于数据集本身。数据集中还可能出现许多其他类型的偏见,包括但不限于历史、时间和聚合偏见。应使用代表人工智能系统在生产中会遇到的案例类型的数据进行训练和测试。对于直接影响系统,这意味着确保培训材料和测试包括代表服务人群的群体和角色的案例。对于间接影响系统,代表性意味着包括生产中可能发生的不同情况的样本,包括边缘情况。本小节的其余部分是直接影响系统的要求,对于任何使用人工智能的系统都强烈建议这样做。应注意所选输入不会使输出偏向任何群体或反对任何群体,除非这种偏见是故意的并且有明确的记录。应审查具有已知偏见的系统,并制定补救计划,以确保采取足够的保障措施防止不适当的结果。补救计划可能包括在缺乏足够保障措施的情况下退役或更换系统。
主要关键词