详细内容或原文请订阅后点击阅览
用XGBOOST调音的高参数调谐的边际效应
揭开贝叶斯高参数优化和比较超参数调谐范例的范式XGBoost的高参数调谐后边际效应首先出现在迈向数据科学。
来源:走向数据科学建模上下文，XGBoost算法占主导地位。它为其他基于树的方法和其他增强实现提供了性能和效率提高。 XGBoost算法包括超参数的洗衣列表，尽管通常在超参数调谐过程中仅选择一个子集。根据我的经验，我一直使用k折的交叉验证方法来识别超参数的最佳组合，尽管还有其他可以系统地搜索超参数空间的超参数调谐方法。
通过我的工作跨越不同项目的XGBoost模型，我遇到了Matt Harrison的出色资源有效的XGBoost，Matt Harrison涵盖了XGBoost的教科书，包括如何调整超参数。本书的第12章致力于使用HyperOPT库来调整超参数。但是，阅读本节时出现了一些自然的问题。本章的介绍提供了有关如何使用HyperOPT和贝叶斯优化的高级概述，与网格搜索相比，使用HyperOPT和贝叶斯优化提供了更具指导性的方法。但是，我很好奇，引擎盖下发生了什么？
Matt Harrison的有效XGBoost 有效XGBoost 在这里本文的目的集中在这两个问题上。首先，我们将探索HyperOPT在更深层次的调整超参数时的工作方式，以帮助您对引擎盖下的情况获得一些直觉。其次，我们将以严格的方式探索大型搜索空间和狭窄搜索空间之间的权衡。我希望回答这些问题，以便将来可以用作理解未来高参数调整的资源。
该项目的所有代码都可以在我的github页面上找到：https：//github.com/noahswan19/xgboost-hyperparameter-analysis
https://github.com/noahswan19/xgboost-hyperparameter-analysis