有句话是这么说的：
It's not who has the best algorithm that wins.
It's who has the most data.
数据对于机器学习来说，其重要性毋容置疑。
随着数据量的增加，算法预测的精准度也会有所增加：
不过大量的数据，会带来一个直接的问题，那就是与之相匹配的运算量。
当我们的训练集非常大时，之前介绍的梯度下降算法，就因为巨大的运算量而显得不太好用。
怎么办呢？下面来说说几种解决的方式。
1 随机梯度下降（Stochastic Gradient Descent）
首先我们回顾一下梯度下降算法。
预测函数：
代价函数：
梯度下降算法需要同步执行的步骤：
随机梯度下降和这不一样的地方在于，梯度计算时不需要对所有的 m 个训练样本求和，每次只处理一个样本。
这样就不会因为训练样本数过大，而运行缓慢。
其代价函数为：
需要同步执行的步骤为：
因为每次只处理一个样本，为了避免样本顺序的影响，在计算之前先随机打乱样本顺序。
计算完一个样本然后在计算下一个，如此反复，直到所有样本都计算完毕。
如果说梯度下降算法的收敛是这样一条相对平滑的弧线：
那么随机梯度下降算法的收敛过程就显得非常曲折：
并且曲线最终没有收敛到一个点，而是一个区域。
如果每 1000 次迭代，绘画最近 1000 个样本的代价函数平均值，就是下面几个图中的蓝线。
情况一：趋势向下
其中红线的学习速率 α 比蓝线的更小，我们可以看到其收敛的速度更慢。
虽然两者最终的结果有所差异，不过差异非常小。
如果将迭代次数从1000 变成 5000，得到的曲线会比原来更加平滑：
不过缺点就是每 5000 个样本才得到一个数据点，因此这个曲线给出的反馈是相对延迟的。
情况二：上下波动
如果出现上面这样的情况，我们将迭代的次数增加到 5000 次，可能会得到两种不同的曲线。
如果得到的是红线，说明算法其实有在收敛，只是速度比较慢。
如果是得到上图中的粉线，说明算法其实没有起到什么作用。
这时候我们应该尝试一些改变，例如调整学习速率，改变特征变量等等。
情况三：趋势向上
这说明算法产生了背离， α 过大了，此时应该缩小 α 。
其实对于学习速率 α 的选择，也可以动态的进行：
通过这样的方式，随着迭代次数的增加， α 会越来越小，最终会收敛到较小的范围：
不过这样也产生了一个新的麻烦，那就是多了一个参数 C 需要调试。
2 小批量梯度下降（Mini-Batch Gradient Descent）
小批量梯度下降算法，是介于批量梯度下降算法和随机梯度下降算法之间的。
如果说批量梯度下降算法每次迭代使用的是全样本 m ，随机梯度下降算法每次迭代使用的是 1 个样本，那么小批量梯度下降算法每次迭代使用的 b 个样本，其中 1 < b < m 。
其梯度计算的公式是：
b 一般设置在 2 到 100 之间。
假如 m = 1000，设置 b = 10 ，也就是：
其中 i = 1, 11, 21, 31, … , 991 。
和随机梯度下降相比，每次处理 b 个样本的优势在于向量化处理。
当你有较好的向量化实现时，小批量梯度下降能够并行计算，使用更短的时间得到结果。
当然小批量梯度下降也有一个缺点，那就是多了一个额外的参数 b 需要调试。
3 在线学习（Online Learning）
在线学习算法的机制，和随机梯度下降算法差异不大，唯一的区别就是放弃了一个固定的数据集，通过不断获取新样本来训练学习。
训练完成之后，这个样本就被丢弃，之后也再也不会用到了。
我们举一个例子，假设在一个大型网站中，用户不断搜索手机信息，并点击浏览。
网站会不断收集用户搜索的关键字和点击的结果。如果用户点击了，就标记为 1 ，否则就标记为 0 。
那么用户每一次的搜索和点击，都会构成一个训练样本。
从本质上来说，这样的数据是无限，所以没有必要重复处理同一个样本。
当然，如果只有少量的用户，在数据非常少的时候，将数据保存在一个固定的数据集中才有意义。
通过在线学习的方式，每一个新的数据，都会给算法的学习结果带来调整。
对于用户偏好的变化，可以很好的适应。
4 映射约减（Map Reduce）
映射约减 (map reduce) 大规模机器学习常用到的一种方法。
其主要的过程是将训练集拆分成多个部分，然后分别交给不同的计算机进行计算，最终汇总结果：
假如训练集数量 m = 400 ，把训练集拆分成 4 份：
然后传到不同的计算机分别计算：
最终进行汇总：
其结果和直接计算是一样的：
通过这样的方式，可以将计算变成并行，大大提高计算速度，降低运算时间。
理论上我们可以得到 4 倍的加速时间，不过考虑网络延时，以及数据汇总的额外消耗，得到的加速时间总是小于 4 倍的。
还有一种方式就多核处理。
现在很多计算机都是多核的，例如我们有一台 4 核计算机，就可以将训练样本分成 4 份，让每一个核处理其中一份：
这样，相比使用多台计算机并行计算，就不用担心网络延时的影响。
5 注意
有时候并不是数据越多越好。
如果是高偏差的问题，使用大量的数据，算法效果也不会得到改善：
所以在上大数据之前，应该先使用其中的一部分数据对算法进行验证。
文章转载自公众号：止一之路
