吴恩达神经网络和深度学习——第四周笔记

Week 4

 

4-1深层神经网络

这是我们之前学过的逻辑回归和单隐藏层神经网络，如今我们要接触更深的神经网络，比如下图的双隐藏层神经网络和五层的神经网络：

首先，我们对深层神经网络进行一个符号约定：

4-2深层网络中的前向传播

首先这是一个深层的网络：

深层网络的前向传播用符号表示其实就是两部分：其中小写的l代表的是第几层

接着是向量化：

4-3核对矩阵的维数

当我们实现深度神经网络的时候，我们常用的一个检查代码是否存在错误的办法就是：用纸过一遍算法中矩阵的维数！

接下来是参数维数的总结：

4-4为什么使用深层表示

为什么神经网络好用？

举例：当你在构建一个人脸识别系统时，当你输入一张脸部的照片，然后把神经网络的第一层当成一个特征探测器或者说是边缘探测器。接着就能够提取到一些特征，然后将这些特征组合在一起。

当然，神经网络不是越深越好，具体情况具体分析。

4-5搭建深层神经网络块

网络的每一层都对应着前向传播和反向传播：

4-6前向传播和反向传播

前向传播的输入与输出：

向量化之后：

反向传播的输入与输出：

向量化之后：

4-7参数和超参数

想要深度神经网络起到很好的效果，还需要规划好参数，以及超参数。也许会问，什么是超参数呢？别急，我们先看看参数有哪些。这些就是参数：

当然，在学习算法的时候还需要有其他的参数，需要学习到算法中，比如学习率、梯度下降算法循环的的数量、隐层数、隐藏单元、激活函数……这些数字都需要自己来设置，而这些数字就控制了最后参数W和b的值。所以以上这几种就是超参数！（当然还有其他的超参数：如mini_batch、等）