梯度下降

1.神经网络矩阵运算

（1）神经元传递形式

      第一层是对全盘特征的提取。比如28*28的图像。第一层每个神经元有28*28个x。但是第一层输出4个结果。可以了提取了四个特征。

      效果不好，表示特征提取不好，是神经元不多，让神经元足够过多。不是越多越好。也不是越少越好。------超参数。

      越多，可能过拟合。（纵向）

      层数也可以提高网络深度。（横向）

（2）感知机

                                                                                H=w*x+b

    网络层数增加，增加非线性能力。例如：第一层中的神经元经过第二层后，线性方向或者倾角发生变化。（能力有限）

    曲线：激活函数。（能力强）

2.梯度

（1）切线

（2）导数

3.梯度下降

（1）切线斜率的取值范围：-1到1

（2）导数为0的意义。

（3）感知机模型H=W*X+B

（4）损失函数：L=(H-Y)^2    二次函数

（5）关于L和W的函数

（6）找的一个合适的W让L最小

（7）即导数为零

（8）求导数为0的W。

（9）不能直接令导数为零，求W。在数学中求导，已知公式，求参数（导数）。现在不知道公式。导数为零：会出现梯度消失。

（10）真正的学习过程中导数不可能为零。在零附近。导数为0，躺平，梯度消失。

（11）导数的写法。四种

                                                                                                         +df/dx

（12）什么是梯度

（13）梯度下降

（14）下降

（15）步长大了（梯度爆炸/精度爆炸）；步长过小（慢）；取经验值（具体问题具体讨论----->超参数）。

                                                                            步长过大和步长过小

(16)神经网络找不到导数等于0的地方。可能找到，但是又继续迭代。直到某次计算结束。如果导数为0，没有梯度，没法更新。也可能最小值是局部最小值。

(17)梯度和形状的关系

网络过深----->梯度弥散、僵尸网络----->新的网络结构（现在1600多层的网络）

(18)局部最优解和全局最优解

                                                                       曲线函数必须要求函数可导

4.激活函数

(1)激活函数的作用

        提供非线性能力

(2)激活函数的性质

(3)激活函数

a).  Sigmoid函数

        表示概率

                                                                                                  X：全体实数      y:0~1

                                                                     Sigmoid_grad=a*(1-a)   max=0.25=0.5*0.5(梯度最大的点)

        一般运用在输出值，表示概率。最大梯度维0.5，当网络层数过深，会有连成效果，小数连成越来越小，梯度会弥散，网络学不懂，容易造成僵尸网络。

b).  Tanh函数

       表示数据的分布状态。

       梯度比sigmoid大。

                                                                                                         X:表达净输出

                                                                                X（这里的X是H）=wx(这里的x是输入值)+b

                                                                                                       X:全体实数    y:-1~1

                                                                                                          看下面就知道了：

导数：

                                                                                 Tanh_grad=1-a^2    max=1--->梯度大，效果好

                                               通常也在中间层使用，效果比sigmoid好，值有正和负，训练效果更均匀。梯度大，学的快。

缺点：在曲线两端梯度多小，网络学不动

c).  ReLU函数

没有梯度衰减的现象：y=x   坏处：梯度不能为负

Y=0:梯度维0.

c.1).    ELU函数

        ELU函数是针对ReLU函数的一个改进型，相比于ReLU函数，在输入为负数的情况下，是有一定的输出的，而且这部分输出还具有一定的抗干扰能力。这样可以消除ReLU死掉的问题，不过还是有梯度饱和和指数运算的问题。

c.2).   PReLU函数

        PReLU也是针对ReLU的一个改进型，在负数区域内，PReLU有一个很小的斜率，这样也可以避免ReLU死掉的问题。相比于ELU，PReLU在负数区域内是线性运算，斜率虽然小，但是不会趋于0，这算是一定的优势吧。

        我们看PReLU的公式，里面的参数α一般是取0~1之间的数，而且一般还是比较小的，如零点零几。当α=0.01时，我们叫PReLU为Leaky ReLU，算是PReLU的一种特殊情况吧。

d). softmax函数