算法在不同的人口群体中可能表现不同。例如,如果一个心理健康工具主要基于来自白人中产阶级的数据进行训练,那么它可能无法准确诊断或治疗其他种族人群的疾病(Buolamwini 和 Gebru 2018)。偏见的另一个来源是人工智能工具的设计和开发过程。如果开发团队缺乏多样性或未能考虑不同人群的具体需求,那么最终的工具可能会无意中反映出其创造者的偏见。这可能导致工具对某些群体效率较低甚至有害,加剧心理健康护理中现有的差距(Gebru 等人 2020)。此外,算法本身也会带来偏见。例如,机器学习算法通常会优化准确性或效率而不考虑公平性。因此,它们可能会强化数据中现有的偏见,甚至通过其决策过程产生新的偏见(Hardt 等人 2016)。