吴恩达深度学习笔记(15-21)总结-浅层神经网络总结

恩达老师的这一周的浅层神经网络总结，还是简单的架构说明，但是还是要仔细读哦！

架构分为四部分：

神经网络表示

计算神经网络输出

激活函数

神经网络的梯度下降

第一和第二部分：

神经网络表示和计算神经网络输出部分，由于本部分讲的是浅层的网络输出，所以就是只有一个隐藏层的神经网络，你也可以理解成一个两层的神经网络，因为输入层并不能算为一层神经网络结构。

另外就是神经网络的输出部分了，首先你要理解单个神经元的内部是如何运算的？以及单样本和多样本的向量实现，如何更加方便的进行计算？

这个你可以简单理解成为我有一个黑匣子，里面经历了什么我不用知道，但是输出了是我想要的，而且我们使用一个线性进行输出，并且达到我们想要的目的。具体如何实现及优化就是看后续激活函数和中间的处理过程决定了。

第三部分：

激活函数，这个激活函数的作用，可以理解为每个网络之间的处理器，但它归属于上一个网络，从上一个网络出来，我们做一下处理，然后再讲输出的数据传到下一个网络或者输出，就像商品有不同型号一样，激活函数也有不同的型号，但是性质和作用基本上是一致的。

我们这里仅仅以非线性激活函数为例：

作用：提供非线性能力，增加运算简单度，增强鲁棒性（也就是神经网络系统稳定性）

性质：处处可微分，定义域为负无穷到正无穷， 值域在（-1，1）之间比如（0,1）（-1，1）

型号：sigmoid函数，tanh函数，Relu函数，Leaky Relu函数（具体的区别和性质，在这里就不做多介绍了，前面都有讲解）

第四部分：

神经网络的梯度下降，在计算神经网络时，肯定就会涉及到前向和后向计算，那么在后向计算中无可厚非的就时梯度下降问题，如何找到极小值。

首先是遇到前向和后向传播，这个的公式是最多的，也是最基础的和难理解的，但是这个是重点概念，理解了这个基本上在梯度下降上有了初步理解了。

这就会遇到权重初始化的问题，对于权重初始化首先是随机初始化，有几点是需要注意的：

1.不能初始化为0，因为初始化了就无法学习，同一层神经元都一样，没有区别，存在对称性

2.随机生成正态分布的靠近中间的数据，比如截断正态分布，但数据不要太大或者太小，太大了容易造成梯度饱和（想象激活函数图像的两端，基本是平缓的），梯度消失

好了，以上基本上是上一周浅层神经网络的框架了，里面需要理解的内容是前后传播的计算，激活函数的性质和类别，随机初始化权重。

下一周就是深层神经网络的说明与介绍，持续努力更新……