4.反向传播与神经网络初步

这节课换了美女老师，美不美其次，是个亚洲面孔，看着亲切。她是李飞飞的博士生，年轻有为啊！

计算图框架

线性

可以用计算图表示的框架，就可以利用链式法则，实现方向传播。

反向传播

一个简单的方向传播的例子：

• 例如，x=-2，y=5，z=-4
• 引入中间变量q，q=x+y，关于q的x、y的偏导数均为1
• 则f=qz，关于f的q的偏导数是z，也就是-4；z的偏导数是q，也就是x+y=3
• 那么关于f的x的偏导数是-4，y的偏导数是-4，z的偏导数是3

反向传播

进一步讲解的例子

• f是一个节点，它有两个输入x，y，一个输出z
• 我们可以知道z关于x，y的梯度
• 若知道L关于z的梯度值
• 我们就可以利用链式法则求出L关于x，y的梯度
• 对于每个节点，我们只关心它的输入输出就可以了，不需要关心其他节点

图片.png

又一个例子

• 首先得到它的计算图框架

图片.png

• 从末尾开始进行反向传播

图片.png

• 接着

图片.png

• 再往下

图片.png

• 再接着往下

图片.png

• 下面是加法部分，我们知道梯度是1，所以

图片.png

图片.png

• 下面到了x0，w0，x1，w1，w2这层

图片.png

总结

• 求出本地梯度
• 求出上层梯度
• 本地梯度乘以上层梯度就好了

注意

• 精髓就是链式法则
• 例如可以把方程中的一部分整体的梯度算出来，就不需要再分解了
• 记住sigmoid的梯度公式

图片.png

在方向传播中，都做了什么

• 加法门：分发
• max门：只发送给一个输入
• 乘法men：交叉转换

图片.png

• 如果一个节点有多个上游节点相加，则梯度也相加

  
  
  

  图片.png

高维度变量的方向传播怎么计算

• 计算的流程是不变的
• 只是x，y，z这些变量变成了矩阵

图片.png

一个例子

• 正向传播

图片.png

• 反向传播

图片.png

图片.png

图片.png

有点复杂，不解释了，动笔算算就明白了

神经网络介绍

• 神经网络就是由一组函数组成的
• 这是一个两层的神经网络，由一个线性方程和一个非线性方程组成

两层网络

三层网络

• 激活函数

激活函数

• 网络模型

网络模型