特征缩放和交叉验证法随笔

特征缩放和交叉验证法

因为特征间数据取值范围相差过大，就会造成梯度下降会走的很远。这样优化时间比较长而且可能造成错误路径。

数据归一化

• 就是把数据的取值范围处理为 0 - 1 或者 -1 1 之间
  • 任意数据转化为 0 - 1 之间 (
  • 任意数据转化为 -1 - 1 之间 (

均值标准化

• x 为特征数据，u 为数据的平均值，s 为数据的方差
  
• 取值范围从 -0.5 - 0.5

交叉验证法

• 通常我们会将数据集按一定比例进行切分为训练数据集和测试数据集
• 对于较小数据集时候我们就会用到交叉验证法

交叉验证法做法

• 把所有的数据切分为 10 份，如果有 100 样本切分每个数据集有 10 个样本