深层神经网络的基本概念表达与前向传播，反向传播以及向量化的概念

深层神经网络的基本概念表达与前向传播，反向传播以及向量化的概念

1.基本概念与表达

如图所示：这是一个三层的神经网络（双隐层）

1. 常用大写字母L来表示神经网络的层数，L=3；
2. 常用n^([L])来表示节点数量或者是L层上的单元数量，这里
3. 常用a^L来表示L层的激活函数
   

2.深层网络的前向传播

第一层：

第二层

第三层

一般表达式：

2.1前向传播的向量化版本

PS：对于第一层上得到的训练样本Z¹，实际上是：

3.核对矩阵的维数

所以，可以得到：

3.1核对矩阵维度的向量化版本

例如：

4.搭建深层神经网络块

所以，权重偏置地更新计算公式为：

然后，将更新后得到的W和b带入到正向传播过程中，进行下一轮的训练。

5.深层网络的反向传播

根据上面的神经网络快可以看出反向传播的大致流程，即输入da^L ， 输出da^L-1, dW^L, db^L的过程，依次迭代，为后面的更新计算做好准备。

下面写出反向传播的计算公式：

5.1反向传播的向量化版本

---

如有错误还请批评指正！！！

---

1. ↩︎