算法成角之路（深度学习进阶笔记）

深度学习进阶

深度学习的实现

训练, 验证, 测试集(Train/ Dev/ Test sets)

偏差方差

神经网络正则化

dropout正则化(Dropout Regularization)

随机删除神经单元

优化方法

mini-batch梯度下降法: p186

即每个batch反向传播一次
batch过大,单次迭代耗时长
batch过小,及为随机梯度下降法,失去向量化的加速增益,会在小范围收敛或波动

动量梯度下降法（Gradient descent with Momentum）

指数加权平均

$$v_i=\beta v_{i-1}+(1-\beta ){\theta }_i$$

偏差修正

不直接使用$v_i$而是如下转换：$$\frac{v_i}{1-{\beta }^i}$$

动量梯度下降法 Momentum

利用指数加权平均计算$dW$能够消除$dW$的震荡

均方根 RMSprop(root mean square prop): p210

平均各个方向的梯度, 加速梯度下降:
$$S_{dw}=\beta S_{dW}+(1-\beta )(dW{)}^2$$
$$W:=W-a\frac{dW}{\sqrt{S_{dW}}}$$

Adam优化算法(Adam optimization algorithm):p213

超参:$a,{\beta }_1,{\beta }_2,ϵ$

学习率衰减(Learning rate decay)

局部最优的问题(The problem of local optima)

超参数调试 Batch正则化 程序框架

调试处理(Tuning process):p223

归一化网络的激活函数:p235

batch归一化(Batch Norm) BN:p239

Softmax回归(Softmax regression):p251

$$J(w^{[1]}$$

结构化机器学习项目

正交化(Orthogonalization)

计算机视觉

卷积神经网络