详细内容或原文请订阅后点击阅览
贝叶斯优化用于深度学习模型的超参数调整
探索贝叶斯优化在二进制分类任务上的效率和性能的表现如何优于网格搜索。贝叶斯后的优化深度学习模型的超参数调整首先出现在数据科学方面。
来源:走向数据科学与传统的方法相比，要调整深度学习模型（Keras顺序模型）的超级参数。
keras顺序模式 网格搜索贝叶斯优化
贝叶斯优化是用于黑色框函数全局优化的顺序设计策略。
顺序设计策略它特别适合评估，缺乏分析形式或具有未知衍生物的功能。在超参数优化的背景下，未知功能可以是：
非常适合评估昂贵，缺乏分析形式或具有未知衍生物的功能- 训练或验证集的目标功能，准确性值，训练或验证集的损失价值，获得或丢失的熵，AUC的ROC曲线，A/B测试结果，每个时期的计算成本，型号大小，奖励金额，增强学习的奖励金额等等。
与依靠直接功能评估的传统优化方法不同，贝叶斯优化构建并完善了目标函数的概率模型，使用此模型智能选择下一个评估点。
建立和完善目标函数的概率模型核心思想围绕两个关键组成部分旋转：
1。替代模型（概率模型）
模型将未知目标函数（F（x））近似于替代模型，例如高斯过程（GP）。
高斯进程（GP）GP是一种非参数贝叶斯模型，它定义了功能上的分布。它提供：
- 在给定点μ（x）和该预测σ（x）周围不确定性的函数值的预测通常表示为置信区间。