机构名称：
¥ 1.0
实验基准是近年来人工智能 (AI) 惊人进步的核心。在机器学习等领域，科学贡献的相关性通常与流行数据集或竞赛所取得的性能水平相关。与此相关，人工智能的技术贡献不仅限于同行评议期刊或会议上的单篇科学论文，而是一个更复杂的团队和社区项目生态系统，这些团队和社区项目开发架构或系统，并不断更新报告（通常在 arXiv.org 和其他开放存储库上）、源代码、预训练模型和结果（通常在 github.com 上）。这项活动通常由基准驱动。传统的科学计量研究很少捕捉到基准对影响人工智能研究的重要性，因为它们主要关注已发表的论文及其之间的引用。在本文中，我们分析了基准如何影响人工智能的研究动态以及从学术界到科技巨头等不同参与者的行为方式。我们对 25 个流行的 AI 基准进行了分析，总共有 1,943 个结果条目。我们从书目存储库中提取了合著者社区，并绘制了它们随时间变化的性能结果。对于每个基准，“成功”与它们对 SOTA 前沿的贡献有关，SOTA 前沿是一条由二维图上的性能跳跃定义的最先进曲线，以时间和性能为维度。我们探索了一系列假设，这些假设涉及在基准上进行重复尝试的社区与进行更多孤立尝试的社区的行为、成功社区的组成（单一机构与多个机构）、它们的多样性（行业、学术界或混合）以及每个社区活跃成员数量的时间动态。最近的研究 1、2 表明“小团队会破坏，而大团队会发展”，但这一发现在
热门 AI 基准测试背后的研究社区动态
主要关键词
相关文件推荐
