ChatGPT vs 程序员:最佳程序员称号的对决

ChatGPT 代码和人员的质量和安全性比较。

来源:安全实验室新闻频道

ChatGPT 代码和人员的质量和安全性比较。

几十年来,程序员一直在为人工智能 (AI) 模型创建代码,现在 AI 正被用来编写代码。在研究中,

已发布

在《IEEE 软件工程汇刊》6 月号中,OpenAI 的 ChatGPT 3.5 AI 代码生成器在功能、复杂性和安全性方面进行了评估。

结果表明,ChatGPT 编写函数式代码的成功率从 0.66% 到 89% 不等,具体取决于任务的复杂性、编程语言和其他因素。虽然在某些情况下人工智能可以比人类更好地生成代码,但分析也揭示了人工智能生成代码的安全问题。

格拉斯哥大学讲师 Yutian Tang 领导的研究发现,人工智能驱动的代码生成可以提高生产力并自动化软件开发任务。然而,了解这些模型的优点和缺点很重要。 Tang 的团队测试了 ChatGPT 在 LeetCode 平台上使用 C、C++、Java、JavaScript 和 Python 5 种编程语言解决 728 个问题的能力。

ChatGPT 在解决问题方面的总体成功率很高,特别是对于 2021 年之前的问题。例如,对于简单、中等和困难的任务,成功率分别约为 89%、71% 和 40%。然而,对于 2021 年之后引入的任务,ChatGPT 生成正确代码的能力显着下降:简单任务从 89% 降至 52%,困难任务从 40% 降至 0.66%。

这是因为 ChatGPT 是在截至 2021 年的数据上进行训练的,并没有遇到新的问题和解决方案。他缺乏人类的批判性思维,只能解决他以前见过的问题。

此外,与至少 50% 的人类解决方案相比,ChatGPT 能够生成具有更低执行时间和内存成本的代码

LeetCode 任务