机构名称：
¥ 1.0
出现公开访问的大语言模型（LLM），例如Chatgpt，带来了前所未有的新型植物和作弊风险，学生使用LLMS为他们解决练习。检测此行为将是入门计算机科学（CS1）课程中的必要组成部分，并且在需要时，教育工作者应配备良好的检测工具。但是，chatgpt非确定生成代码，因此，传统的相似性检测器可能不足以检测AI创建的代码。在这项工作中，我们探讨了用于检测任务的机器学习（ML）模型的负担。我们使用了CS1分配的学生程序的公开可用数据集，并使ChatGPT生成了相同作业的代码，然后评估了传统的机器学习模型和基于抽象的基于抽象的基于AST的基于AST tree（基于AST）的深度学习模型，从学生代码提交中检测CANTGPT代码。我们的结果表明，传统的机器学习模型和基于AST的深度学习模型都可以有效地识别Chatgpt生成的代码，准确性超过90％。由于部署此类模型需要并非总是可以为教师提供的ML知识和资源，因此我们还探索了通过深度学习模型检测到的模式，这些模型指示可能使用的CHATGPT代码签名，教师可能会使用这些模型来检测基于LLM的作弊。我们还探讨了是否明确要求Chatgpt冒充新手程序员会影响所产生的代码。我们进一步讨论了提出的模型以增强入门计算机科学教学的潜在应用。
使用机器学习模型在CS1课程中检测CHATGPT生成的代码提交
主要关键词
相关文件推荐
