使用泰勒展开解释梯度下降方法参数更新过程

提升树Boosting Tree算法实例详解_程大海的博客-CSDN博客

从提升树Boosting Tree过度到梯度提升Gradient Boosting_程大海的博客-CSDN博客

GBDT梯度提升之回归算法个人理解_程大海的博客-CSDN博客_梯度回归算法

GBDT梯度提升之二分类算法个人理解_程大海的博客-CSDN博客_gbdt二分类

GBDT梯度提升之多分类算法个人理解_程大海的博客-CSDN博客_gbdt可以多分类吗

XGBoost算法个人理解_程大海的博客-CSDN博客_xgboost 叶子节点权重

交叉熵损失与极大似然估计_程大海的博客-CSDN博客_极大似然估计和交叉熵

使用泰勒展开解释梯度下降方法参数更新过程_程大海的博客-CSDN博客

AdaBoost算法实例详解_程大海的博客-CSDN博客_adaboost算法实例 


泰勒公式:

使用泰勒展开解释梯度下降方法参数更新过程_第1张图片

一阶泰勒展开:

 梯度下降是逐步迭代,损失函数逐步降低的过程:

为了满足上述不等式条件,取 ,则上式变为:

因为是步长,,所以上述不等式成立。 从而得出梯度下降的参数更新公式:

你可能感兴趣的:(机器学习,深度学习,梯度下降算法,泰勒展开)