机器学习之训练模型

梯度下降方法

批量梯度下降：使用整个训练集来计算每一步的梯度，当训练集太大，算法较慢
随机梯度下降：每一步在训练集中随机选择一个实例，并且仅基于该单个实例计算梯度。（训练迭代速度最快，因为一次只考虑一个训练实例）

• 优缺点：因为其随机性，可以逃离局部最优，但永远定位不出最优值。
• 解决方法：模拟退火-逐步降低学习率，开始的步长较大，然后越来越小，让算法尽量靠近全局最小值

小批量随即下降：在称为小型批量的随机实例集上计算梯度。 可通过矩阵操作的硬件优化提高性能

三个方法最终都接近最小值，但批量最后在最小值处停止，其他两个都继续走动。

正则化模型

限制权重：岭回归、Lasso回归和弹性网络
（1）岭回归：添加正则化项(l2范式的一半)到成本函数，迫使学习模型不仅拟合数据，而且使得权重尽可能地小。执行岭回归之前要缩放数据，因为其对输入特征的缩放敏感。（大多正则化模型都如此）
阿尔法参数的增加会导致更平坦，减少了方差，增加了偏差。
（2）Lasso回归：（l1范式）特点是倾向于消除掉最不重要特征的权重。换句话，Lasso回归会自动执行特征选择并输出一个稀疏模型。即这是一种自动选择特征的方法，当你怀疑实际只有少部分特征起作用时，应选择该模型，否则应首选岭回归。
（3）弹性网络：介于岭回归和Lasso回归，是他们的简单混合。
一般默认岭回归，但是如果实际用到的特征只有少数几个，应该更倾向于Lasso回归和弹性网络，但是特征数量超过训练实例数或几个特征强相关时，弹性网络比Lasso表现更好。

本章节机器学习系列总结都源自《机器学习实战:基于Scikit-Learn、Keras和Tensorflow》