【吴恩达深度学习笔记】1.3 浅层神经网络Shallow neural networks

第一门课 神经网络和深度学习(Neural Networks and Deep Learning)

3.1神经网络概述（Neural Network Overview）

感觉这块没啥好记的

3.2 神经网络的表示（Neural Network Representation）

神经网络包括

• 输入层（input layer）：包含输入特征$x_1,x_2,...$
• 隐藏层（hidden layer）：训练数据
• 输出层（output layer）：产生预测值$y_1,y_2,...$

将输入层的激活值记为$a^{[0]}$，隐藏层的激活值记为$a^{[1]}$，第一个结点记为$a_1^{[1]}$,第二个结点记为$a_2^{[1]}$，以此类推，输出层的$\hat{y}$取$a^{[2]}$。

3.3 计算一个神经网络的输出（Computing a Neural Network’s output）

给定一个只有一个隐藏层的两层神经网络结构，$x$表示输入特征，$a$表示每个神经元的输出，$W$表示特征的权重，上标表示神经网络的层数（隐藏层为1），小标表示该层的第几个神经元。

神经网络的计算

隐藏层节点单元的计算：
$$z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]},a_1^{[1]}=\sigma (z_1^{[1]})$$

$$z_2^{[1]}=w_2^{[1]T}x+b_2^{[1]},a_2^{[1]}=\sigma (z_2^{[1]})$$

$$z_3^{[1]}=w_3^{[1]T}x+b_3^{[1]},a_3^{[1]}=\sigma (z_3^{[1]})$$

$$z_4^{[1]}=w_4^{[1]T}x+b_4^{[1]},a_4^{[1]}=\sigma (z_4^{[1]})$$

向量化计算

$$z^{[n]}=w^{[n]}x+b^{[n]}$$

其中$w$是一个4X3的矩阵

3.4 多样本向量化（Vectorizing across multiple examples）

$a^{[2](i)}$中$[2]$指神经网络的第二层，$(2)$指第$i$个训练样本。

对于矩阵$A,Z,X$，水平方向上代表了各个训练样本，竖直方向上对应不同的输入特征，即不同的索引对应于不同的隐藏单元。

3.5 向量化实现的解释（Justification for vectorized implementation）

对单个样本的计算$z^{[1](i)}=W^{[1]}{x}^{[i]}+b^{[1]}$，当有不同的训练样本时，将其堆到矩阵$X$的各列中。

3.6 激活函数（Activation functions）

在神经网络的前向传播中的$a^{[1]}=\sigma (z^{[1]})$使用到了sigmoid函数，sigmoid函数在这里被称为激活函数：$$a=\sigma (z)=\frac{1}{1+e^{-z}}$$

通常情况下我们使用不同的非线性函数$g(z)$，tanh函数或者双曲正切函数是总体上都优于sigmoid函数的激活函数。
$$a=tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$

tanh函数的值域在-1到1之间，数据的平均值接近0而不是0.5，这会使下一层的学习更加简单。sigmoid函数和tanh函数共同的缺点：在z特别大或特别小时导数的梯度或者函数的斜率接近于0，导致降低梯度下降的速度降低。

在机器学习中有一个很流行的函数：修正线性单元函数（ReLu），在z是正数时导数恒等于1，在z是负数时，导数恒等于0。
$$a=ReLu(z)=max(0,z)$$

激活函数选择的经验法则：

• 若输出是0、1值（二分类问题），则输出层选择sigmoid函数，其余所有单元选择ReLu函数
• 若隐藏层不确定使用哪个激活函数，通常选择ReLu函数

还有另一版本的ReLu函数Leaky ReLu，当z是负值时函数值不为0，而是微微倾斜，这个函数的激活效果优于ReLu，尽管使用不多。

3.7 为什么需要非线性激活函数？（Why need a nonlinear activation function?）

如果你是用线性激活函数或者叫恒等激励函数，那么神经网络只是把输入线性组合再输出。不能在隐藏层用线性激活函数，可以用ReLU或者tanh或者leaky ReLU或者其他的非线性激活函数，唯一可以用线性激活函数的通常就是输出层。

3.8 激活函数的导数（Derivatives of activation functions）

1.Sigmoid activation function
$$\frac{d}{dz}g(z)=\frac{d}{dz}g(\frac{1}{1+e^{-z}})=\frac{1}{1+e^{-z}}(1-\frac{1}{1+e^{-z}})=g(z)(1-g(z))$$

当$z=\pm 10$时，$g(z{)}^{\prime }\approx 0$
当$z=0$时，$g(z{)}^{\prime }=\frac{1}{4}$
在神经网络中，$a=g(z),g(z{)}^{\prime }=a(1-a)$

2.Tanh activation function
$$\frac{d}{dz}g(z)=\frac{d}{dz}g(\frac{e^z-e^{-z}}{e^z+e^{-z}})=1-(tanh(z){)}^2$$

当$z=\pm 10$时，$g(z{)}^{\prime }\approx 0$
当$z=0$时，$g(z{)}^{\prime }=0$
在神经网络中，$a=g(z),g(z{)}^{\prime }=1-a^2$

3.Rectified linear unit(ReLu)
$$g(z)=max(0,z)$$

$$g(z{)}^{\prime }=\{\begin{array}{cc}0& ifz<0\\ 1& ifz>0\\ undefined& ifz=0\end{array}$$

通常在$z=0$时给定其导数1,0；当然$z=0$的情况很少。

4.Leaky Rectified linear unit(Leaky ReLu)

$$g(z)=max(0.01z,z)$$

$$g(z{)}^{\prime }=\{\begin{array}{cc}0.01& ifz<0\\ 1& ifz>0\\ undefined& ifz=0\end{array}$$

通常在$z=0$时给定其导数1,0.01；当然$z=0$的情况很少。

3.9 神经网络的梯度下降（Gradient descent for neural networks）

给定一单层神经网络，包括参数$W^{[1]}$，$b^{[1]}$，$W^{[2]}$，$b^{2]}$，$n_x$代表输入特征的个数，$n^{[1]}$表示隐藏层单元个数，$n^{[2]}$表示输出层单元个数。
矩阵$W^{[1]}$维度为 $(n^{[1]},n^{[0]})$，矩阵$b^{[1]}$维度为$(n^{[1]},1)$，矩阵$W^{[2]}$维度为 $(n^{[2]},n^{[1]})$，矩阵$b^{[2]}$维度为$(n^{[2]},1)$。$Z^{[1]}$和$A^{[1]}$的维度均为$(n^{[1]},m)$。

训练参数需要做梯度下降，在训练神经网络时，要随机初始化参数，而不是初始化为全零。

forword propagation：

$$z^{[1]}=W^{[1]}x+b^{[1]}{a}^{[1]}=\sigma (z^{[1]})$$

$$z^{[2]}=W^{[2]}{a}^{[1]}+b^{[2]}{a}^{[2]}=g^{[2]}(z^{[2]})=\sigma (z^{[2]})$$

back propagation：
$$d{z}^{[2]}=A^{[2]}-Y,Y=[y^{[1]}{y}^{[2]}...y^{[m]}]$$

$$d{W}^{[2]}=\frac{1}{m}d{z}^{[2]}{A}^{[1]T}$$

$$d{b}^{[2]}=\frac{1}{m}np.sum(d{z}^{[2]},axis=1,keepdims=True)$$

$$d{z}^{[1]}=W^{[2]T}d{z}^{[2]}\ast g^{[1{]}^{\prime }}(z^{[1]})$$

$$d{W}^{[1]}=\frac{1}{m}d{z}^{[1]}{x}^T$$

$$d{b}^{[1]}=\frac{1}{m}np.sum(d{z}^{[1]},axis=1,keepdims=True)$$

其中axis=1在python中表示水平相加求和，keepdims确保矩阵$d{b}^{[2]}$这个向量输出的维度为$(n,1)$这样的标准形式。

3.10（选修）直观理解反向传播（Backpropagation intuition）

3.11 随机初始化（Random Initialization）

如果在神经网络中将权重或者参数初始化为0，那么梯度下降将不起作用。

实际中应该把$W^{[1]}$设为np.random.randn(2,2)（生成高斯分布），通常再乘一个很小的数，如0.01，这样把它初始化为很小的随机数。$b$没有对称问题，可以将其初始化为0。只要随机初始化$W$就有不同的隐含单元计算不同的东西，就不会存在symmetry breaking problem，相似的$W^{[2]}$也是如此。

$$W^{[1]}=np.random.randn(2,2)\ast 0.01,b^{[1]}=np.zeros((2,1))$$

$$W^{[2]}=np.random.randn(2,2)\ast 0.01,b^{[2]}=0$$

乘0.01而不是100或者1000是因为如果使用sigmoid/tanh为激活函数，初始化值很大的时候$z$会很大或者很小，梯度下降会很慢，学习速度就会很慢。

错题笔记

Logistic Regression doesn’t have a hidden layer. If you initialize the weights to zeros, the first example x fed in the logistic regression will output zero but the derivatives of the Logistic Regression depend on the input x (because there’s no hidden layer) which is not zero. So at the second iteration, the weights values follow x’s distribution and are different from each other if x is not a constant vector.
Logistic回归没有隐藏层。 如果将权重初始化为零，则Logistic回归中的第一个示例x将输出零，但Logistic回归的导数取决于不是零的输入x（因为没有隐藏层）。 因此，在第二次迭代中，如果x不是常量向量，则权值遵循x的分布并且彼此不同。