各种优化算法及其优缺点？

1）梯度下降：每次使用全部数据集进行训练

优点：得到的是最优解

缺点：运行速度慢，内存可能不够

2）随机梯度下降SGM

在随机梯度下降法中每次仅根据一个样本对模型中的参数进行调整

优点：可以一定程度上解决局部最优解的问题

缺点：容易震荡，收敛速度较慢

3）批量梯度下降BGM

优点：容易陷入局部最优解

缺点：收敛速度较快

4）mini_batch梯度下降

假设训练集中的样本的个数为1000，则每个mini-batch只是其一个子集，假设，每个mini-batch中含有10个样本，这样，整个训练数据集可以分为100个mini-batch。

综合随机梯度下降和批量梯度下降的优缺点，提取的一个中和的方法。

优点：训练速度快，无内存问题，震荡较少

缺点：可能达不到最优解

5）牛顿法

牛顿法在迭代的时候，需要计算Hessian矩阵，当维度较高的时候，计算  Hessian矩阵比较困难。

6）拟牛顿法

拟牛顿法是为了改进牛顿法在迭代过程中，计算Hessian矩阵而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解。