最初是为反应性内容审核系统设计的毒性检测算法,已被部署到主动的最终用户干预措施中,以进行中等内容。然而,在此适度范式中使用这些算法几乎没有批评。我们与四个利益相关者群体进行了设计研讨会,要求参与者将毒性检测算法嵌入到想象中的手机键盘中。这使我们能够批判性地探索如何使用这种算法来主动减少有毒含量的发送。我们发现了情境因素,例如平台文化和负担能力,滥用量表,影响了对系统毒性和有效性的看法。,我们在连续的意图中确定了不同类型的最终用户,从不了解用户到确定和有条理的信息。最后,我们强调了某些最终用户群体滥用这些系统来验证其攻击,游戏仇恨和操纵算法模型以加剧伤害的潜力。