神经网络：全连接神经网络

1 简介

全连接神经网络 也称作多层感知机（MLP）

1.1 神经元

神经元接收输入向量$x$
神经元节点有权重向量w和偏置项b 输出值为$f(w^{T}x+b)$
在经过类似线性回归之后 使用激活函数对得到值进行操作

1.2 网络结构

• 输入层：[特征维度，n]
• 隐含层：权重矩阵 [输出维度，输入维度] 或者说[这层维度，上层维度]
• 输出层：[类别数，n]

个人对于每一层的理解就是 使用[这层维度，上层维度]的权重矩阵
将输入转化为其他维度 并且使用非线性的激活函数 得到输出

1.3 正向传播

确定网络结构之后
假设有m层网络 第 $l$ 层的权重矩阵 $W^l$ 偏置为 $b^l$
整个网络从输入到输出的流程为

• $x^1=x$
• 对于$l=2,3,...m$每一层
  $u^l=W^l{x}^{l-1}+b^l$（线性回归）
  $x^l=f(u^l)$（非线性激活函数）
• 得到$x^m$ 即为输出 可能是每个类别的概率组成的向量 也可能是回归值

1.4 反向传播

如何训练每一层的W和b 就需要反向传播算法
假设单个样本的损失函数是：
$$L=\frac{1}{2}(h(x)-y{)}^2$$
目标优化函数：
$$L=\frac{1}{2m}\sum _{i=1}^m(h(x_i)-y_i{)}^2$$
反向传播算法的流程是:

• ①正向传播 计算每一层的输出值
• ②反向传播：对输出层计算 损失函数对$u$的梯度 $${▽}_{u^l}L=(x^l-y)⨀f^{\prime }(u^l)$$(因为损失函数用的欧式距离 所以是$x^l-y$)
• ③对于$l=n_l-1,n_l-2....2$的各层 计算每层 损失函数对$u$的梯度
  $${▽}_{u^l}L=(W^{l+1}{)}^T[{▽}_{u^{l+1}}L]⨀f^{\prime }(u^l)$$
• ④计算损失函数对$W$和$b$的梯度
  $${▽}_{W^l}L=[{▽}_{u^l}L](x^{l-1}{)}^T$$
  $${▽}_{b^l}L={▽}_{u^l}L$$
• ⑤梯度下降更新$W$和$b$
  $$W^l=W^l-\eta [{▽}_{W^l}L]$$
  $$b^l=b^l-\eta [{▽}_{b^l}L]$$

需要推导出每一层都适用的结论是
$${▽}_{W^l}L=[{▽}_{u^l}L](x^{l-1}{)}^T$$
$${▽}_{b^l}L={▽}_{u^l}L$$
可见需要每一层 损失函数对u的梯度
然后只有输出层的这个梯度是可以直接求出来的
隐藏层的这个梯度都依靠于下一层才能求出来
所以按顺序计算$n_l,n_l-1,n_l-2,....,2$层的梯度

如果训练时使用多个样本 对每个样本求出梯度 求出梯度的均值 进行梯度下降即可
反向传播算法的证明还需掌握 （复合函数求导）