近年来,人工智能 (AI) 在医学等许多领域都取得了迅速发展。在医学界引起特别关注的一款 AI 工具是 Chat-GPT,这是 OpenAI 开发的大型语言模型,于 2022 年 11 月首次推出,其更新版本 GPT-4 于 3 月推出,有望使其功能更加强大和准确。GPT-4 是一款功能强大的工具,可以对各种问题、提示和图像生成类似人类的响应,并创建学术文章,例如您正在阅读的文章。使用 Chat-GPT 开发本文及其标题的早期迭代(其中一些在附录 1 中分享),突出了其改变我们评估方式的潜力,并促使我们仔细重新考虑 AI 在医学教育中的潜在作用。医学院评估对于确保新毕业的医生有能力提供安全有效的护理,并在适当的水平上继续深造医学研究生至关重要。传统上,医学院的考试被打包成书面、实践和工作场所评估的计划和系统,由人类考官监督和评分。然而,像 Chat-GPT 这样的人工智能工具的使用可以为医学院的评估提供新的机会。COVID-19 造成的干扰导致医学教育的传递方式发生了转变,教学方式进行了审查,许多评估被改编为在线版本。这导致评估创新增多,并引发了关于作弊的潜在影响以及围绕评估中越来越多地使用技术而产生的伦理问题的讨论。1 作弊的想法迫使人们更多地审视医学等专业教育计划的评估目的以及学生如何看待他们的高风险考试。
擦除分析:擦除分析计算学生答题纸上的擦除标记数。课堂上大量错改的擦除标记可能表明存在篡改行为。 预计分数/通过率分析:对前几年测试结果的统计分析可以预测未来的表现。总体测试分数或通过率的意外飙升可能表明存在作弊行为,尤其是在第二年或在严格控制的测试环境中,巨大的进步会消失时。相比之下,高效教师带来的教育进步往往更小,也更持久。 学生反应模式分析:如果课堂上学生答错大量简单问题,但正确回答了数量不太可能的难题,那么他们可能会被标记。同样,测试公司可能会在测试中寻找具有统计意义的相似答案字符串。 跨学科分数比较:在成绩高度相关的学科中,如果某一学科的成绩不太可能很高,则从课堂或年级来看,可能表明存在作弊行为。 考试成绩和班级成绩不匹配:大量学生尽管成绩低于年级水平或辍学,但考试成绩却很高,这可能引起警惕。 参与度变化:学区和校园必须作为一个群体达到年度进步 (AYP),并且根据种族、语言状况和收入在亚群体中也必须达到这一水平。统计分析可能会发现亚群体参与率的惊人变化。
出现公开访问的大语言模型(LLM),例如Chatgpt,带来了前所未有的新型植物和作弊风险,学生使用LLMS为他们解决练习。检测此行为将是入门计算机科学(CS1)课程中的必要组成部分,并且在需要时,教育工作者应配备良好的检测工具。但是,chatgpt非确定生成代码,因此,传统的相似性检测器可能不足以检测AI创建的代码。在这项工作中,我们探讨了用于检测任务的机器学习(ML)模型的负担。我们使用了CS1分配的学生程序的公开可用数据集,并使ChatGPT生成了相同作业的代码,然后评估了传统的机器学习模型和基于抽象的基于抽象的基于AST的基于AST tree(基于AST)的深度学习模型,从学生代码提交中检测CANTGPT代码。我们的结果表明,传统的机器学习模型和基于AST的深度学习模型都可以有效地识别Chatgpt生成的代码,准确性超过90%。由于部署此类模型需要并非总是可以为教师提供的ML知识和资源,因此我们还探索了通过深度学习模型检测到的模式,这些模型指示可能使用的CHATGPT代码签名,教师可能会使用这些模型来检测基于LLM的作弊。我们还探讨了是否明确要求Chatgpt冒充新手程序员会影响所产生的代码。我们进一步讨论了提出的模型以增强入门计算机科学教学的潜在应用。
虽然技术能力很重要,但概念和道德知识应该放在首位。人工智能工具的最新技术进步引发了教育界的担忧,因为学生有可能使用这些工具来提交评估报告。重要的是要记住这并不是什么新鲜事。学生一直能够通过不经参考就从来源复制来剽窃和“作弊”。然而,我们现在看到的是,人工智能工具如何有效地为学生从头开始制作一篇独特的文章(或其他产品)——作为学生从互联网上购买文章或让第三方(如家长或导师)代写文章的替代或补充。就像别人为学生写文章的情况一样,老师可以很好地识别哪些是学生自己的作品,哪些不是。
在萨克拉门托州立大学,学术不诚实是一种严重的违法行为,违反了《学生行为准则》(https://www.csus.edu/umanual/student/ums16150.htm),是绝对不能容忍的。学术不诚实是指任何作弊或剽窃行为,包括使用人工智能或 ChatGPT 来生成或完成作业。所有学生都应熟悉并遵守《学术诚实政策》(https://www.csus.edu/umanual/student/stu-100.htm)中概述的《学术诚实政策》。违反该政策将导致纪律处分和/或学术制裁。学术制裁可能包括口头谴责、降低指定成绩或不及格成绩,或提交行政/纪律处分。
· 通常在周五布置作业;下周五上课前截止,届时将讨论解决方案 · 目标是说明和强化讲座主题,并为测验提供练习 · 可以小组合作或从其他学生那里获得提示;但您必须按下自己的计算器按钮,并且您提交的作业必须是您自己的。 · 如果您依赖别人告诉您如何做作业,那么您将不会从作业中学到太多东西。但请随时与老师讨论/提问。 · 在 Canvas 中以 .pdf 格式在线提交作业 · 老师可能会酌情接受迟交的作业,通常会减少学分。 · 根据我发布的解决方案迟交作业是作弊行为。
许多教师对与人工智能相关的学术不端行为的潜在违规行为感到震惊,并对未来可能发生的事情感到担忧,因为人工智能越来越能够模仿人类的声音和决策。然而,执着于作弊可能会导致对抗环境,并给已经负担沉重的教师带来大量时间投入。我们并不声称拥有所有答案,但我们可以提供一些选择,因为我们都在努力寻找方法来帮助我们的学生重视学习过程、深入了解基础概念的重要性以及人工智能的新兴普及,这无疑会影响他们未来的职业生涯。我们知道学术不端行为并不新鲜。斯坦福大学的两位教育学者 Victor Lee 和 Denise Pope (2023) 指出,早在 ChatGPT 出现之前,美国 60-70% 的高中生报告称,他们在上个月至少参与过一次“作弊”行为。虽然超出了本白皮书的范围,但学生从事不端行为有更深层次的系统性原因。帮助学生考虑与 AI 相关的道德决策的起点可能是确保他们明白,了解老师的政策是他们的责任。我们的白皮书“与学生讨论 AI 的指南”可能对您有所帮助。德克萨斯理工大学对涉嫌学术不端行为的回应流程是什么?学生行为办公室制定了一份《教师学术诚信指南》,概述了该流程。第一步是审查事件并与学生会面以获得初步了解,并确定您是否希望提交报告并推进官方大学调查。下一步是填写一份表格,您将在其中提交所有支持文件。如果事件无法在早期阶段由教师和学生解决,最后一步是正式的学术诚信调查和听证程序。给教师的一些建议:
对于框架内的每个检测到的人,都会产生相应的关键集。然后将这些关键点映射到图像上,如右图所示,提供了对模型预测的视觉解释。提取的钥匙点对于我们的分析中的后续阶段至关重要,包括姿势分类,行为分析以及最终检测潜在作弊事件。Yolov8置式模型即使在具有挑战性的条件下,例如闭塞和各种照明。此功能可确保可靠的特征提取,这对于我们系统的准确性至关重要。此外,我们还设计了诸如鼻子和眼睛之间的距离和角度之类的特征。这些指标有助于确定相对于相机的头部方向,从而增强了我们的分析。
