模型参数优化方法

1、梯度下降

            pass

2、坐标轴下降法

1、坐标轴下降法(Coordinate Descent， CD)：
    是一种迭代法，通过启发式的方 法一步步的迭代求解函数的最小值，和梯度下降法(GD)不同的时候，坐标 轴下降法是沿着坐标轴
    的方向去下降，而不是采用梯度的负方向下降。

•    坐标轴下降法的思想：

 

 

•     坐标轴下降法的过程：

•       总结 ：

坐标轴下降法和梯度下降法的区别？    ------ 最主要区别：梯度下降要求目标函数一阶可导

• 坐标轴下降法在每次迭代中，计算当前点处沿一个坐标方向进行一维搜索 ，固定其它 维度的坐标方向，找到一个函数的局部极小
    值。而梯度下降总是沿着梯度的负方向求 函数的局部最小值；
• 坐标轴下降优化方法是一种非梯度优化算法。在整个过程中依次循环使用不同的坐标 方向进行迭代，一个周期的一维搜索迭代过
    程相当于一个梯度下降的迭代；
• 梯度下降是利用目标函数的导数来确定搜索方向的，该梯度方向可能不与任何坐标轴 平行。而坐标轴下降法法是利用当前坐标方
    向进行搜索，不需要求目标函数的导数， 只按照某一坐标方向进行搜索最小值；
• 两者都是迭代算法，且每一轮迭代都需要O(mn)的计算量(m为样本数，n为维度数)

 3、牛顿法、拟牛顿法

     pass

4、Adam、

     pass