吴恩达Deeplearning.ai之1-4:深层神经网络

这篇笔记主要是关于深层神经网络的，包含以下内容：

目录

1. 确保矩阵维度是正确的(Getting your matrix dimensions right):

2. 搭建深层神经网络块(Building blocks of deep neural network):

3. 前向和反向传播(Forward and backward propagation):

4. 参数VS超参数(Parameters VS Hyperparameters):

1. 确保矩阵维度是正确的(Getting your matrix dimensions right):

在深度神经网络中，提前确定好各种矩阵的维度是减少bug的一种重要的方式。

                                      

有上面的5层神经网络，其中每层的神经元数都已经给出，对于m个样本的第层的各矩阵的维度为：

权重矩阵：

偏置矩阵：

：

：

：

：

，可以看到每个矩阵的维度都是正确的，经过运算后得到的矩阵维度也是对应的。

2. 搭建深层神经网络块(Building blocks of deep neural network):

           

3. 前向和反向传播(Forward and backward propagation):

前向传播(forward propagation)：

对于第层：

Input：                     Output：

                                                              

                                                                    

向量化后的公式：

                                                              

                                                                    

反向传播(backward propagation):

对于第层：

Input：                        Output：

                                                                            

                                                                              

                                                                                    

                                                                              

向量化后的公式：

                                                                                    

                                                                                       

                                                              

                                                                                           

4. 参数VS超参数(Parameters VS Hyperparameters):

参数：

参数即是我们在过程中想要模型学习到的信息，。

超参数：

超参数即为控制参数的输出值的一些网络信息，也就是超参数的改变会导致最终得到的参数W[l]，b[l]W[l]，b[l]的改变。

举例：

学习速率：
迭代次数：
隐藏层的层数：
每一层的神经元个数：
激活函数的选择