详细内容或原文请订阅后点击阅览
什么是 ADAGrad 以及它与机器学习有何关系
为什么重要：AdaGrad（自适应梯度）是一种用于机器学习和深度学习领域的优化算法。
来源:人工智能+简介
简介 简介AdaGrad（自适应梯度）是一种用于机器学习和深度学习领域的优化算法。它由 John Duchi、Elad Hazan 和 Yoram Singer 于 2011 年提出。该算法根据梯度历史单独调整模型中每个权重的学习率。
了解机器学习和优化
了解机器学习和优化 了解机器学习和优化深度学习模型在优化范式内运行，我们努力最小化表示给定数据集预测误差的成本函数。SGD、ADAGrad、RMSProp 和 Adam 等优化技术是深度学习的支柱，通常会在平庸的模型和高度准确的模型之间产生差异。
Adam从根本上说，训练神经网络涉及找到最小化给定成本函数的最佳参数集。虽然我们的目标是减少训练误差，但最终目标是实现低测试误差——这是我们的模型在看不见的数据上的性能的衡量标准。成本函数通常包括在整个训练集上计算的性能指标加上正则化项，对于实现这一目标至关重要。
优化过程的一个重要方面是间接学习的理念。我们使用不同的成本函数来改进针对测试集定义的性能指标。与纯粹的优化不同，最小化成本函数是最终目标，而深度学习优化还关注机器学习目标函数的结构。
损失函数在训练深度学习模型时，我们经常会遇到重大挑战。问题不仅在于优化成本函数，还在于函数本身的性质。训练神经网络的任务不是凸优化问题，因此其复杂程度显著提高。
XGBoost 简介及其在机器学习中的应用