机构名称：
¥ 1.0
学术界和行业越来越多地尝试了基于预训练和微调范式的代码生成模型，从而导致了众所周知的工业模型，例如Codex，Codegen和Pangu-Coder。为评估这些模型的有效性，提出了多个现有基准（例如，人道主义者和Aixbench），包括仅生成独立函数的情况，即只能调用或访问内置功能和标准文库的函数。但是，通常不包含在现有的基准中的非标准元函数占流行的开放源项目中70％以上的功能，并且评估模型对独立函数的有效性不能反映这些模型对实用代码生成方案的有效性（即，对于实际源代码的代码，代码生成的开放式或专有代码的代码生成）。为了帮助弥合前面的差距，在本文中，我们提出了一个名为Codereval的基准，由230 Python和230
codereval：具有生成预训练模型的务实代码生成的基准
主要关键词
相关文件推荐
