研究人员对抗数学中的人工智能幻觉
研究人员减少了 ChatGPT 在代数方面的教学错误,但在统计学方面并没有那么成功。
来源:KQED | MindShift伯克利研究人员利用了像人类一样不稳定的事实。他们要求Chatgpt连续10次回答相同的数学问题。令我惊讶的是,一台机器可能会以不同的方式回答相同的问题,但这就是这些大型语言模型的作用。通常,逐步的过程和答案是相同的,但是确切的措辞有所不同。有时,这些方法很奇怪,结果是错误的。 (请参阅下面的图中的一个示例。)
研究人员将类似的答案分组在一起。当他们评估10种解决方案中最常见答案的准确性时,Chatgpt非常出色。对于基本的高中代数,AI的错误率从25%下降到零。对于中级代数,错误率从47%降至2%。对于大学代数,它从27%降至2%。
chatgpt回答了相同的代数问题,三种不同的方式,但在此示例中,它降落在10次中的七次中
但是,当科学家将这种方法(他们称为“自洽”的统计数据应用于统计数据时,它也无法正常工作。 Chatgpt的错误率从29%下降到13%,但在10个答案中,有一个以上是错误的。我认为对于学习数学的学生来说,这太多了。
CHATGPT的那些令人印象深刻的学习结果促使研究作者大胆地预测,有效的计算机辅导系统的“完全自主产生”是“拐角处”。从理论上讲,Chatgpt可以立即消化一章或视频讲座,然后立即转过身并辅导一个学生。
从计算机中学习只是不吸引 。 这个关于 AI幻觉 由吉尔·巴沙(Jill Barshay)撰写,由 Hechinger报告