神经网络之梯度下降

1、什么是梯度

1.1官方解释

1.2 通俗理解

上面这种教科书般的定义太过繁琐，不易于初学者进行理解。根据我这段时间的学习（经验分析，不能保证正确），梯度其实是指函数参数的变化趋势（参数学习的方向），只有一个自变量时称为导数

1.3 作用

可以用来评定模型好坏。
用损失loss表示模型预测值和真实值的差别，由两种计算方式，如下


由于x代表的是收集的数据，所以要让loss最小应当调整w

思路：通过控制w的变化率（梯度）来调整预测值

2、如何计算梯度

数学问题，高等数学导数、偏导数计算

3、前向传播与反向传播

3.1 前向传播

就是指按照计算顺序，逐次向前计算，例如：***J(a,b,c)=3(a+bc)***这个函数，其前向传播过程为

3.2 反向传播

由于在预测过程中输入结果与输出结果有误差，为了提高准确率。需要计算估计值与实际值之间的误差（求偏导），并将该误差逐次逆向传回初始位置，在这个过程中进行参数调整。

3.3 形象的理解：你比划我猜

之前看到的一个比喻非常形象，这里借用一下。
前向传播
可以把他理解为游戏中的比划环节，前面的人向后面的人向后传递自己看到的真实的图画信息，比如说：我看到一只狗后，我的大脑（函数1）将之解读为“伸出舌头不听哈气”这一内容，然后我将这一信息传递给后面人。后面的人在接收到这个信息之后，他的大脑（函数2）在你的信息基础上加工，又传递给下一个人…
输出环节
现在游戏结束了，主持人问最后一个人（output）图画内容是什么？他的大脑根据前面传递过来的信息再进行加工，然后告诉主持人，这是一只狼
反向传播
很明显，预测值与真实值有出入，为了提高猜测准确率，参与游戏的人员从最后一个人（output）开始，向前一个人解释说：狗不是这个样子的，下回碰到狗，你这么演我就知道了，巴拉巴拉…逐次向前相互约定或修改暗号代表的内容
新一轮开始