AlphaCode

竞争性编程人工智能的实证评估

摘要 —AlphaCode 是一个代码生成系统，用于帮助软件开发人员使用自然语言问题描述解决竞争性编程问题。尽管代码生成系统具有诸多优势，但开源社区仍对实用性和数据许可表示担忧。但是，尚无研究从代码克隆和性能方面调查生成的代码。在本文中，我们进行了实证研究，以发现 AlphaCode 生成的代码与人类代码之间的代码相似性和性能差异。结果表明：(i) AlphaCode 生成的代码与人类代码相似（即平均最大相似度得分为 0.56），(ii) 生成的代码在执行时间和内存使用方面的表现与人类代码相当或更差。此外，对于低难度问题，AlphaCode 倾向于生成与人类更相似的代码（即四种情况具有完全相同的代码）。对于高难度问题，它还采用了过多的嵌套循环和不必要的变量声明，这导致我们的手动调查性能低下。复制包可在 https:/doi.org/10.5281/zenodo.6820681 获得索引术语 — 代码生成、代码相似性、代码性能