详细内容或原文请订阅后点击阅览
我发布了 1,000 个人工智能生成的测验问题。我的学生比我先发现了错误。
Flash Learners是我从2016年开始运营的一个教育平台。学生用它来准备WAEC、JAMB/UTME和其他考试，我们提供的很大一部分内容是练习题。手写练习题很慢。我在[…]我发布了 1,000 个人工智能生成的测验问题的帖子中研究并找出了 49,000 个过去考试问题的答案。我的学生比我先发现了错误。首先出现在 FlashLearners 上。
来源:FlashlearnersFlash Learners是我从2016年开始运营的一个教育平台。学生用它来准备WAEC、JAMB/UTME和其他考试，我们提供的很大一部分内容是练习题。
手写练习题很慢。多年来我研究并找出了49,000道往年考题的答案，所以我清楚地知道需要多长时间才能做好。当我开始构建一个涵盖多个主题的新测验插件时，包括一个名为 FlashScholar 的 20 个级别的谜题部分，我使用 AI 生成问题和插件代码。我使用了 Claude 和 ChatGPT 的付费版本。
我发布了它并与我的观众分享了链接：一个拥有 9,214 名关注者的频道和一个拥有 700 多名学生的 WhatsApp 群组。生成的一千多个问题已上线。
到了第二天，学生们就开始向我投诉。
检测方法有问题
在发布之前我没有系统地审查每个生成的问题。我检查了一些，该插件似乎可以工作，然后我就发货了。
通过学生反馈，我发现了错误。一条消息的开头是：“您好，先生，我想投诉。”
这就是我想要在任何错误率之前引导的发现。我发现错误的方法是等待学生注意到并有足够的信心告诉我。没有学生报告的所有错误仍然存在。学生吸收的每一个错误都是正确的，因为他们认为学习工具比他们更了解，但根本没有产生任何信号。
大约 40 个问题有问题
数学中的错误最为严重，其中多步骤工作会带来更多出错的机会，而糟糕的中间步骤会产生明显错误的最终答案，而在 FlashScholar 谜题关卡中，这需要整个项目的内部一致性。
但原始率比失败的种类更重要。三个是截然不同的。