CV理论基础（五）：神经网络基础知识——神经元、基础神经网络、梯度下降、误差传播

神经网络

神经网络是大量结构简单的，功能接近的神经元节点按一定体系架构连接成的网状结构，类似大脑的结构，需要建议输入和输出的映射关系。

神经网络可以用于分类、模式识别、连续值预测。

神经元

人工神经元：

1. 来源：生物神经元间相互联系，传递信息。借鉴生物神经元，形成人工神经元。
2. 概念：
   每个神经元都是一个结构相似的独立单元，它接受前一层传来的数据，并将这些数据的加权和输入非线性作用函数中，最后将非线性作用函数的输出结果传递给后一层。
3. 模型：
   
   若干输入，每个输入有各自的权重，进行一个混合的操作（线性组合），经过f映射（通常是非线性）后形成一个output值。函数表达如下：
   $$y=f(w^x)=f(\sum _{i=1}^d{w}_i{x}_i)$$
   其中，激活函数是非线性函数f
4. 重要部分——激活函数（传统）
   将负无穷到正无穷映射到一个范围内
   （1）sigmoid
   $$f(x)=\frac{1}{1+e^{-x}}$$
   $$令y=f(x),f^{{}^{\prime }}(x)=y（1-y）$$
   
   （2）tanh
   $$f（x）=tanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$$

$$令y=f(x),f^{{}^{\prime }}(x)=1-y^2$$

人工神经网络

基础神经网络

1. 、神经网络概念
   大量神经元节点按照一定体系架构连接成的网状结构，一般有输入层，隐含层，输出层。神经元包括输入向量x，权重向量w，偏置标量b和激活函数sigmoid。通长使用梯度下降或者BP后向传播（链式规则）进行优化。
   
   传统的浅层网络，一般有3-5层。
   
2. 重要概念——层
   实现输入控件到输出空间的线性或非线性变化
   每层可以改变的量：提取不同的特征，提取特征的个数

前馈神经网络

1. 概念：
   前馈神经网络是各神经元从输入层开始，接收前一级输入，并输出到下一级，直至输出层。整个网络中无反馈，可用一个有向无环图表示。
2. 特点
   采用一种单项多层结构。其中每一层包含若干个神经元，同一层的神经元之间没有互相连接，层间信息的传送只沿着一个方向。
   其中，第一层称为输入层，最后一层为输出层，中间为隐含层。
3. 学习规则——Delta
   Delta学习规则是一种有监督学习算法，该算法根据神经元的实际输出与期望输出查别来调整链接权。数学表示如下：
   $$\Delta w_{i}j=a\cdot (d_i-y_i)x_j(t)$$
   其中，$\Delta w_{i}j$表示神经元j到神经元i连接权重增量， $d_i$是神经元i的期望输出， $y_i$是神经元i的实际输出， $x_j$表示神经元j状态，a是表示学习速度的常数。
4. 目标函数
   对于训练样本x，期望输出t和实际输出z越接近越好，即简单目标函数越小越好。
   简单目标函数如下：
   $$J(w)=\frac{1}{2}||t-z|{|}^2=\frac{1}{2}\sum _{k=1}^c(t_k-z_k{)}^2$$
   注：$\frac{1}{2}$是为了求导方便

梯度下降

令权重向梯度下降的方向调整，直到权重无法下降为止。下降调整过程为迭代过程，表示为：
$$w(m+1)=w(m)+\Delta w(m)+\Delta w(m)=w(m)-\eta \frac{\partial J}{\partial w}$$
将此问题类比为爬山，红色部分代表J（w）目标函数有着比较高的取值，需要能够让目标函数的值尽量的低，即深蓝色的部分。

需要计算梯度的方向，沿梯度方向下降，注意学习速率，持续这个过程直到平地，进行迭代过程，目标函数处处可导。

1. 输出层权重改变量计算
   假定输出层参数如下:
   
   $$\frac{\partial J}{\partial w_{kj}}=\frac{\partial J}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial w_{kj}}$$
   其中，$ne{t}_k$是输出单元的总输出，$ne{t}_k={\sum }_{i=1}^{n_H}{w}_{ki}{y}_i$，$\frac{\partial ne{t}_k}{\partial w_{k}j}=y_j$
   $$\frac{\partial J}{\partial ne{t}_k}=\frac{\partial J}{\partial z_k}\frac{\partial z_k}{\partial ne{t}_k}$$
   因为$J(w)=\frac{1}{2}||t-z|{|}^2=\frac{1}{2}{\sum }_{k=1}^c(t_k-z_k{)}^2$，所以$\frac{\partial J}{\partial z_k}=-(t_k-z_k)$
   $$\frac{\partial J}{\partial ne{t}_k}=-(t_k-z_k)f^{{}^{\prime }}(ne{t}_k)$$
   令残差${\delta }_k=(t_k-z_k)f^{{}^{\prime }}(ne{t}_k)$，则
   $$\frac{\partial J}{\partial w_{kj}}=-(t_k-z_k)f^{{}^{\prime }}(ne{t}_k)y_j=-{\delta }_k{y}_j$$

2. 隐藏层权重改变量计算
   
   寻找中间变量，隐藏层输出和隐藏层总输入
   $$\frac{\partial J}{\partial w_{ji}}=\frac{\partial J}{\partial y_j}\frac{y_j}{\partial ne{t}_j}\frac{\partial ne{t}_k}{\partial w_{ji}}$$
   其中，$ne{t}_j$是输出单元的总输入，$ne{t}_j={\sum }_{m=1}^d{w}_{jm}{x}_m$，$y_j$是隐藏层单元输出
   $$\frac{\partial ne{t}_j}{\partial w_{ji}}=\frac{\partial }{\partial w_{j}i}(\sum _{m=1}^d{w}_{jm}{x}_m)=x_i$$
   $$\frac{\partial y_j}{\partial ne{t}_j}=f^{{}^{\prime }}(ne{t}_j)$$
   $f^{{}^{\prime }}(ne{t}_j)$是激活函数的导数
   $$\frac{\partial J}{\partial y_j}=\frac{\partial }{\partial y_j}[\frac{1}{2}\sum _{k=1}^c(t_k-z_k{)}^2]=\frac{\partial }{\partial z_k}\frac{\partial z_k}{\partial y_j}\sum _{k=1}^c(t_k-z_k{)}^2]=-\sum _{k=1}^c(t_k-z_k)\frac{\partial z_k}{\partial y_j}$$
   令$ne{t}_k$是输出单元的总输入，$ne{t}_k={\sum }_{i=1}^{n_H}{w}_{ki}{y}_i$
   $$-\sum _{k=1}^c(t_k-z_k)\frac{\partial z_k}{\partial y_j}=-\sum _{k=1}^c(t_k-z_k)\frac{\partial z_k}{\partial ne{t}_k}\frac{\partial ne{t}_k}{\partial y_j}=-\sum _{k=1}^c(t_k-z_k)f^{{}^{\prime }}(ne{t}_k)w_{kj}$$
   由输出层权重改变量计算可知$$\frac{\partial J}{\partial y_j}=\frac{\partial J}{\partial w_{kj}}=-(t_k-z_k)f^{{}^{\prime }}(ne{t}_k)y_j=-{\delta }_k{y}_j$$
   令残差${\delta }_j=f^{{}^{\prime }}(ne{t}_j){\sum }_{k=1}^c{\delta }_k{w}_{kj}$，则
   $$\frac{\partial J}{\partial w_{ji}}=-{\delta }_j{x}_i$$

3. 样本多时，使用随机梯度下降方法（SGD），SGD存在着噪音较多的问题，不是每次迭代都向着整体最优化的方向。Mini-batch Gradient Descent是在批量梯度下降和随机梯度下降两种方法的折衷。

误差传播

误差传播迭代公式

1. 输出层
   目标函数对于隐藏层与输出层权重的偏导等于负的输出层的残差与输出层单元输入的乘积，即

2. 隐含层
目标函数对于输入层与隐含层的权重的偏导等于负的隐藏层的残差与输入的乘积

2. 总结
输出层和隐藏层误差传播公式可统一为：
$$权重增量=-1\ast 学习步长\ast 目标函数对权重的偏导数$$

$$目标函数对权重的偏导数=-1\ast 残差\ast 当前层的输入$$

$$残差=当前层激励函数的导数\ast 上层反传来的误差$$

$$上层反传来的误差=上层残差的加权和$$