机器学习中常用优化算法介绍

阅读全文请点击

【磐创AI导读】：本文主要介绍了常用的一些机器学习中常用的优化算法。

在机器学习的世界中，通常我们会发现有很多问题并没有最优的解，或是要计算出最优的解要花费很大的计算量，面对这类问题一般的做法是利用迭代的思想尽可能的逼近问题的最优解。我们把解决此类优化问题的方法叫做优化算法，优化算法本质上是一种数学方法，常见的优化算法包括梯度下降法、牛顿法、Momentum, Nesterov Momentum, Adagrad, Adam等。其实大部分机器学习算法的本质都是建立优化模型，通过优化算法对损失函数（优化的目标函数）进行优化，从而训练出最好的模型。
（1）梯度下降法
梯度下降法是最常用的一种优化算法。其核心思想是：在当前位置寻找梯度下降最快的方向，来逐渐逼近优化的目标函数。且离目标函数越近，逼近的“步伐”也就越小。梯度下降法本质是一种迭代方法，常用于机器学习算法的模型参数求解。其示意图如下图1所示：

图1梯度下降法

梯度下降法的更新公式为：

其中α为梯度上每次逼近的步长，前边的“-”表示搜索方向为负梯度的方向，L我损失函数。算法更新终止的条件是梯度向量接近于0即可。此外需要特别注意的是，梯度下降法不一定能够找到全局的最优解，很有可能找到的是一个局部最优解。