1.简介 集成是通过加权平均或投票将预测组合在一起的模型集合。集成方法在过去十年中一直是重要研究的焦点,并且已经引入了各种集成方法。众所周知的集成方法包括 bagging [2]、boosting [14]、随机森林[3]、贝叶斯平均 [9] 和 stacking [17]。人们对集成方法的兴趣大部分源于其出色的实证表现。然而,集成有一个经常被忽视的缺点:许多集成很大且速度很慢。这使得集成方法无法用于内存、存储空间或计算能力有限的应用程序(例如便携式设备或传感器网络),以及需要实时预测的应用程序。例如,考虑增强决策树、袋装决策树或随机森林。这些模型通常包含数百或数千个决策树,每个决策树都必须存储并在运行时执行以进行预测。执行一棵树很快,但执行一千棵树则不然。