我们将系统的任务性能以及系统开发和部署过程中产生的时间和资源成本纳入总体框架,从而重新构建对人工智能进展的分析。这些成本包括:数据、专家知识、人工监督、软件资源、计算周期、硬件和网络设施以及(什么样的)时间。这些成本分布在系统的生命周期中,可能对不同的开发人员和用户提出不同的要求。我们提出的多维性能和成本空间可以缩减为一个效用指标,用于衡量系统对不同利益相关者的价值。即使没有单一的效用函数,也可以通过人工智能是否扩展帕累托曲面来一般性地评估人工智能的进步。我们将这些类型的成本标记为人工智能进步中被忽视的维度,并使用四个案例研究对其进行探索:Alpha*(围棋、国际象棋和其他棋盘游戏)、ALE(Atari 游戏)、ImageNet(图像分类)和虚拟个人助理(Siri、Alexa、Cortana 和 Google Assistant)。这种更广泛的人工智能进步模型将带来评估人工智能系统潜在社会用途和影响的新方法,并为未来的进步设定里程碑。