[深度之眼机器学习训练营第四期]大规模机器学习

这一节主要讲了一些适用于大规模机器学习的算法及策略，并比较了梯度下降、随机梯度下降和小批量梯度下降的优劣。目前来说，大规模机器学习中用的最多的还是小批量梯度下降，毕竟它在执行效率和性能之间达到了一个平衡。当然，对于小批量梯度下降来说，如何选择合适的批量大小又是一个值得深思的问题。

梯度下降

$$\begin{array}{rl}& \text{Repeat}\{\\ & {\Theta }_{t+1}:={\Theta }_t-\alpha \frac{1}{n}\sum _{i=1}^n\nabla \text{cost}\left(f(x^{(i)};{\Theta }_t),y^{(i)}\right)\\ & \}\end{array}$$

随机梯度下降

$$\begin{array}{rl}& \text{Repeat}\{\\ & \text{Shuffer training dataset randomly}\\ & \text{Select }\text{one}\text{ example from training dataset}\\ & {\Theta }_{t+1}:={\Theta }_t-\alpha \nabla \text{cost}\left(f(x^{(i)};{\Theta }_t),y^{(i)}\right)\\ & \}\end{array}$$

小批量梯度下降

$$\begin{array}{rl}& \text{Repeat}\{\\ & \text{Shuffer training data randomly}\\ & \text{Select }b\text{ examples from training dataset}\\ & {\Theta }_{t+1}:={\Theta }_t-\alpha \frac{1}{b}\sum _{i=1}^b\nabla \text{cost}\left(f(x^{(i)};{\Theta }_t),y^{(i)}\right)\\ & \}\end{array}$$
后面介绍了分布式机器学习中的Map-Reduce方法，其实现阶段（2020年）常用的方法还是数据并行和模型并行这两种。主要使用的架构包括参数服务器以及一些环状架构，这里就不作过多介绍了。