第一门课:神经网络和深度学习(第三周)——浅层神经网络

浅层神经网络

  • 1. 神经网络概览
  • 2. 神经网络的表示
  • 3. 神经网络的输出
  • 4. 多样本向量化
  • 5. 激活函数
  • 6. 为什么需要非线性激活函数
  • 7. 激活函数的导数
  • 8.直观理解反向传播
  • 9. 随机初始化

1. 神经网络概览

第一门课:神经网络和深度学习(第三周)——浅层神经网络_第1张图片

对于以往由逻辑单元组成的简单神经网络,我们对其计算过程已经大致了解。接下来我们类比于浅层神经网络中。

算法过渡:
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第2张图片
逐步求解:
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第3张图片

第一层根据输入计算 z [ 1 ] z^{[1]} z[1] ,然后计算第一层的输出 a [ 1 ] a^{[1]} a[1]
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第4张图片

把第一层的输出 a [ 1 ] a^{[1]} a[1] 作为第二层的输入, 计算 z [ 2 ] z^{[2]} z[2], 代入 sigmoid 函数, 得到输出 a [ 2 ] a^{[2]} a[2], 进而计算损失函数。
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第5张图片
还有反向的求导过程。

2. 神经网络的表示

第一门课:神经网络和深度学习(第三周)——浅层神经网络_第6张图片

3. 神经网络的输出

第一门课:神经网络和深度学习(第三周)——浅层神经网络_第7张图片
每个神经网络单元的工作包括两部分:计算 z z z ,然后根据激活函数 (sigmoid) 计算 σ ( z ) \sigma(z) σ(z)
z 1 [ 1 ] = w 1 [ 1 ] T x + b 1 [ 1 ] , a 1 [ 1 ] = σ ( z 1 [ 1 ] ) z 2 [ 1 ] = w 2 [ 1 ] T x + b 2 [ 1 ] , a 2 [ 1 ] = σ ( z 2 [ 1 ] ) z 3 [ 1 ] = w 3 [ 1 ] T x + b 3 [ 1 ] , a 3 [ 1 ] = σ ( z 3 [ 1 ] ) z 4 [ 1 ] = w 4 [ 1 ] T x + b 4 [ 1 ] , a 4 [ 1 ] = σ ( z 4 [ 1 ] ) \begin{array}{ll} z_{1}^{[1]}=w_{1}^{[1] T} x+b_{1}^{[1]}, & a_{1}^{[1]}=\sigma\left(z_{1}^{[1]}\right) \\ z_{2}^{[1]}=w_{2}^{[1] T} x+b_{2}^{[1]}, & a_{2}^{[1]}=\sigma\left(z_{2}^{[1]}\right) \\ z_{3}^{[1]}=w_{3}^{[1] T} x+b_{3}^{[1]}, & a_{3}^{[1]}=\sigma\left(z_{3}^{[1]}\right) \\ z_{4}^{[1]}=w_{4}^{[1] T} x+b_{4}^{[1]}, & a_{4}^{[1]}=\sigma\left(z_{4}^{[1]}\right) \end{array} z1[1]=w1[1]Tx+b1[1],z2[1]=w2[1]Tx+b2[1],z3[1]=w3[1]Tx+b3[1],z4[1]=w4[1]Tx+b4[1],a1[1]=σ(z1[1])a2[1]=σ(z2[1])a3[1]=σ(z3[1])a4[1]=σ(z4[1])
[ layer ] 上标表示第几层,下标表示该层的第几个节点。
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第8张图片
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第9张图片
输入一个样本的特征向量,四行代码计算出一个简单神经网络的输出,那么输入多个样本呢?请往下看。

4. 多样本向量化

  • 对于 m \mathrm{m} m 个样本, ( i ) (\mathrm{i}) (i) 表示第 i \mathrm{i} i 个样本
    z [ 1 ] ( i ) = W [ 1 ] ( i ) x ( i ) + b [ 1 ] ( i ) a [ 1 ] ( i ) = σ ( z [ 1 ] ( i ) ) z [ 2 ] ( i ) = W [ 2 ] ( i ) a [ 1 ] ( i ) + b [ 2 ] ( i ) a [ 2 ] ( i ) = σ ( z [ 2 ] ( i ) ) \begin{aligned} z^{[1](i)} &=W^{[1](i)} x^{(i)}+b^{[1](i)} \\ a^{[1](i)} &=\sigma\left(z^{[1](i)}\right) \\ z^{[2](i)} &=W^{[2](i)} a^{[1](i)}+b^{[2](i)} \\ a^{[2](i)} &=\sigma\left(z^{[2](i)}\right) \end{aligned} z[1](i)a[1](i)z[2](i)a[2](i)=W[1](i)x(i)+b[1](i)=σ(z[1](i))=W[2](i)a[1](i)+b[2](i)=σ(z[2](i))

  • 为了向量化计算,进行堆叠
    第一门课:神经网络和深度学习(第三周)——浅层神经网络_第10张图片
    注意:

  • 列向看,对应于不同的特征,就是神经网络中的该层的各个节点;

  • 行向看,对应于不同的训练样本。

5. 激活函数

第一门课:神经网络和深度学习(第三周)——浅层神经网络_第11张图片

tanh激活函数sigmoid的平移伸缩结果,其效果在所有场合都优于sigmoid,tanh几乎适合所有场合。例外是,二分类问题的输出层,想让结果介于 0,1之间,所以使用 sigmoid 激活函数。

tanh、 sigmoid两者的缺点:在特别大或者特别小 z z z 的情况下,导数的梯度或者函数的斜率会变得特别小,最后就会接近于0,导致降低梯度下降的速度


激活函数的选择经验

  • 如果输出是0、1值(二分类问题),输出层选择sigmoid函数,其它所有单元都选择Relu函数;

  • sigmoid函数需要进行浮点四则运算,在实践中,使用ReLu激活函数学习的更快;

  • 隐藏层通常会使用Relu激活函数。有时,也会使用tanh激活函数,但Relu的一个缺点是:当是负值的时候,导数等于0;

  • 另一个版本的Relu被称为Leaky Relu,当是负值时,这个函数的值不等于0,而是轻微的倾斜,这个函数通常比Relu激活函数效果要好,尽管在实际中Leaky ReLu使用的并不多。

6. 为什么需要非线性激活函数

线性隐藏层一点用也没有,因为线性函数的组合本身就是线性函数,所以除非你引入非线性,否则你无法计算出更有趣的函数,即使网络层数再多也不行。

  • 不能在隐藏层用线性激活函数,可以用ReLU、tanh、leaky ReLU或者其他的非线性激活函数;
  • 唯一可以用线性激活函数的通常就是输出层;在隐藏层使用线性激活函数非常少见。

7. 激活函数的导数

  • sigmoid
    第一门课:神经网络和深度学习(第三周)——浅层神经网络_第12张图片

  • tanh
    第一门课:神经网络和深度学习(第三周)——浅层神经网络_第13张图片

  • ReLu (Rectified Linear Unit)
    第一门课:神经网络和深度学习(第三周)——浅层神经网络_第14张图片
    z = 0 z=0 z=0 时,可以让导数为 0,或者 1。

  • Leaky ReLU (Leaky Linear Unit)
    第一门课:神经网络和深度学习(第三周)——浅层神经网络_第15张图片
    z = 0 z=0 z=0 时,可以让导数为 0.01,或者 1。

8.直观理解反向传播

第一门课:神经网络和深度学习(第三周)——浅层神经网络_第16张图片
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第17张图片
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第18张图片

9. 随机初始化

对于一个神经网络,如果你把权重或者参数都初始化为0,那么梯度下降将不会起作用,并且会存在神经单元的对称性问题,添加再多的神经单元也没有更好的效果。
第一门课:神经网络和深度学习(第三周)——浅层神经网络_第19张图片

  • 常数为什么是0.01,而不是100或者1000 ?因为如果w初始化很大的话,那么z就会很大,所以sigmoid/tanh 激活函数值就会趋向平坦的地方,而sigmoid/tanh 激活函数在很平坦的地方,学习非常慢。
  • 当你训练一个非常非常深的神经网络,你可能要试试0.01以外的常数。

你可能感兴趣的:(吴恩达《深度学习》)