深度学习 第3次作业 浅层神经网络

1.神经网络概述

神经网络的作用是给定一组输(x1,x1...xn)经过一系列的计算得出一个输出a，然后将输出a和实值y作比较，不断地调整参数，最终使得输出a的值达到合适的位置。

二层神经网络.png

反向传播是将loss反向传播回去，本质是链式法则求导，然后更新权重参数。示意图如下：

计算流程示意图.png

2.神经网络表示及计算

神经网络，它包括输入层，隐藏层和输出层，分别是第0层、第1层、第2层。但不把输入层称为一层，所以这个神经网络只有2层，也称作单隐层神经网络。

神经网络表达示意图.png

每一层的计算包括两部分，一部分是计算出z的值，另一部分是利用激活函数求出输出值。

神经网络计算.png

3、神经网络的向量化表达及解释
对于两层神经网络，从输入层到隐藏层对应一次逻辑回归运算；从隐藏层到输出层对应一次逻辑回归运算。每层计算时，要注意对应的上标和下标，一般我们记上标方括号表示layer，下标表示第几个神经元。例如a_i^[l]表示第l层的第i个神经元。注意，i从1开始，l从0开始。

神经网络向量化表达.png

多个例子的向量化.png

4.激活函数

神经网络隐藏层和输出层都需要激活函数，之前都默认使用Sigmoid函数作为激活函数。其实，还有其它激活函数可供使用，不同的激活函数有各自的优点。下面是几个不同的激活函数：

激活函数.png

激活函数公式推导.png

如果使用线性函数作为激活函数，最终的输出仍然是输入x的线性模型。这样的话神经网络就没有任何作用了。因此，隐藏层的激活函数必须要是非线性的。另外，如果所有的隐藏层全部使用线性激活函数，只有输出层使用非线性激活函数，那么整个神经网络的结构就类似于一个简单的逻辑回归模型，而失去了神经网络模型本身的优势和价值。

激活函数的导数：

5.神经网络的梯度下降法

计算公式.png

6.随机初始化

权重随机初始化的重要性：神经网络模型中的参数权重W是不能全部初始化为零的，必须对权重W进行随机初始化操作。

权重初始化为0.png

随机初始化.png