[机器学习]全局最小与局部最小

机器学习中很多任务最终都会转化为优化任务，基于梯度的搜索是使用最广泛的参数寻优方法。

梯度法：

从某些初始解出发，迭代寻找最优参数值。每次迭代计算误差函数在当前点的梯度，然后根据梯度确定搜索方向：负梯度方向是函数值下降最快的方向，因此梯度下降法就是沿着负梯度方向搜索最优解。

若误差函数在当前点梯度为0，则以达到局部最小，参数迭代将停止，显然若误差函数有多个局部最小我们很难保证他就是全局最小。

策略：

1. 从多个不同的初始点开始搜索，得到可能陷入不同的局部最小，从中选择更接近全局最小的结果。
2. 模拟退火（simulated snnealing）：模拟退火每一步以一定的概率接受比当前解更差的结果，从而有助于跳出局部最小。
3. 随机梯度下降：由于随机性使算法有机会跳出局部最小。

梯度下降的具体原理可参考文章：[机器学习]梯度下降