人工智能 (AI),特别是大型语言模型 (LLM) 的快速发展为各种教育应用开辟了机会。本文探讨了利用最流行的 LLM 之一 ChatGPT 在入门计算机科学 (CS1) 课程中自动对 Java 编程作业进行反馈的可行性。具体来说,本研究重点关注三个问题:1) 学生在多大程度上将 LLM 生成的反馈视为形成性的?2) 学生如何看待包含其代码的反馈提示与不包含其代码的反馈提示的比较可供性?3) 学生建议进行哪些改进以改进 LLM 生成的反馈?为了解决这些问题,我们使用 ChatGPT API 为 CS1 课程中的四个实验室作业生成了自动反馈。调查结果显示,学生认为反馈与 Shute 制定的形成性反馈指南非常一致。此外,学生明显偏爱将学生代码作为 LLM 提示的一部分而生成的反馈,我们的专题研究表明,这种偏爱主要归因于反馈的特异性、清晰度和纠正性。此外,本研究发现,学生通常期望获得具有足够代码示例的具体纠正性反馈,但对反馈的语气有不同的看法。本研究表明,ChatGPT 可以生成学生认为具有形成性的 Java 编程作业反馈。它还提供了有关使 ChatGPT 生成的反馈对学生有用的具体改进的见解。
主要关键词