摘要。我们描述了在大型注册介绍性的大学课程中,在考试中的基于NLP不完美的Au Tomatic简短答案分级系统的部署。我们将这种部署描述为高赌注(这些问题是在中期考试中,占学生最重要的成绩的10%)和高透明度(该问题在基于计算机的考试中进行了互动分级,并且向学生显示了可以将其与他们的答案进行比较的正确解决方案)。我们研究了两种技术,旨在减轻学生不正确的AI分级机构不正确授予信用的潜在学生不满。我们发现(1),提供多次尝试可以以额外的假阳性为代价消除第一张虚假负面因素,并且(2)学生未从算法中获得信用的学生无法可靠地确定他们的答案是否误解了。