调谐随机森林超参数的视觉指南

超参数调谐如何在视觉上改变随机森林,后期的视觉指南进行了随机森林超参数的视觉指南,首先是迈向数据科学的。

来源:走向数据科学

在我的上一篇文章中,我研究了不同的超参数对决策树的影响,包括它们的性能以及它们在视觉上的表现。

上一篇文章

自然的下一步是随机森林,使用sklearn.ensemble.randomforestregressor。

sklearn.ensemble.randomforestregressor

再次,我不会进入随机森林的运作方式,诸如自举和特征选择和多数投票之类的领域。从根本上讲,随机的森林是大量的树木一起工作(因此是森林),这就是我们所关心的。

我将使用相同的数据(通过Scikit-learn,CC-BY)和相同的一般过程使用相同的数据(加利福尼亚州住房数据集),因此,如果您还没有看过我以前的帖子,建议您首先阅读,因为它可以介绍我在此处使用的一些功能和指标。

代码与以前相同:https://github.com/jamesdeluk/data-projects/tree/main/main/visalising-trees-trees

https://github.com/jamesdeluk/data-projects/tree/main/main/visalising-trees

和以前一样,下面的所有图像都是由我创建的。

基本森林

首先,让我们看看基本的随机森林的性能,即RF = Random ForestRegressor(Random_State = 42)。默认模型具有无限的最大深度和100棵树。使用平均专用方法,鉴于它是森林而不是一棵树,因此需要大约6秒钟的时间,并且可以预测约0.1秒,因此比深决策树的长50到150倍,毫不奇怪。和分数?

rf = RandomForestRegressor(Random_State = 42)
metricmax_depth =nonemae0.33mape0.19mse0.26rmse0.51r²0.80
metricmax_depth = none 公制 max_depth =无 MAE0.33MAPE0.19MSE0.26RMSE0.51R²0.80 Mae0.33 Mae 0.33 mape0.19 Mape 0.19 MSE0.26 MSE 0.26 RMSE0.51 rmse 0.51 r²0.80 r² 0.80

它预测了我选择的行的0.954,而实际值为0.894。

是的,开箱即用的随机森林的表现要比我以前的帖子中的贝叶斯搜索型决策树更好!

可视化

单个树图

rf.estimators_

个人预测

[tree.predict(选择[功能] .values)在rf.estimators _] - 1.43 -1