摘要。ChatGPT3 是一个聊天引擎,它实现了基于 AI 的聊天引擎的承诺:用户可以提出问题(提示),它会以合理的方式回答。ChatGPT 的编码相关技能尤其令人印象深刻:非正式测试表明,很难找到 ChatGPT3 不知道如何正确回答的简单问题。一些学生肯定已经在使用它来回答编程作业了。本文研究学生使用 ChatGPT3 回答编码作业是否安全(“安全”意味着如果他们使用它,他们不会因抄袭而被抓住)。主要结果是学生使用 ChatGPT3 通常不安全。我们通过使用抄袭检测工具 Codequiry 进行搜索并在 Google 中搜索抄袭代码(仅考虑第一页结果)来评估使用 ChatGPT3 生成的代码的安全性。在 38% 的情况下,Codequiry 会找到一段部分复制自 ChatGPT3 答案的代码。在 96% 的情况下,Google 搜索会找到一段与生成的代码非常相似的代码。总体而言,在 96% 的情况下,学生使用 ChatGPT3 并不安全。
过去几十年的自然语言处理创新使得以各种方式合成和理解连贯文本成为可能,将理论技术转化为实际实现。报告总结软件和内容作者等行业都受到了大型语言模型的重大影响。然而,根据观察,大型语言模型可能会显示出社会偏见的证据,从而因疏忽而产生道德和环境危害。因此,有必要为负责任的 LLM(大型语言模型)制定全面的指导方针。尽管许多实证研究表明复杂的大型语言模型几乎没有道德问题,但目前尚未对使用大型语言模型的合法性进行彻底的调查和消费者研究。我们使用定性研究方法对 OpenAI 的 ChatGPT3 进行研究,以解决当前大型语言模型中现实的道德风险,从而进一步指导负责任地构建道德大型语言模型的持续努力。我们从偏见和稳健性的四个角度仔细审查了 ChatGPT3。根据我们所陈述的意见,我们客观地在多个样本数据集上对 ChatGPT3 进行了基准测试。在这项工作中,我们发现当前基准测试无法解决相当一部分原则性问题;因此,提供了新的案例来支持这一点。此外,还讨论了有关 ChatGPT3 的 AI 伦理的发现的重要性、未来的潜在问题以及对大型语言模型的有用设计考虑。这项研究可能为未来调查和减轻大型语言模型应用中技术带来的道德风险提供一些指导。
