深度学习 反向传播backward在 随机梯度下降中的运用

深度学习 反向传播backward在 随机梯度下降中的运用_第1张图片

以最简单的神经网络为例

 损失函数

                ​​​​​​​        ​​​​​​​        ​​​​​​​        Loss=\sum||w_{1} * x_{1} + w_{2} * x_{2} - y||^{2}

                            损失函数为通过 随机设定的w1和w2 得出的y的近似值与真实y的差距

随机梯度下降(SGD)

                                ​​​​​​​        ​​​​​​​        ​​​​​​​        w^{new} = w - \eta \cdot \frac{\partial Loss}{\partial w}​​​​​​​

通过此公式不断更新w使w靠近真实值

\frac{\partial Loss}{\partial w}为当前误差关于w的梯度,梯度方向为数值(Loss)增长最快的方向

所以我们沿梯度反方向更新,即Loss下降最快的方向

η:学习率,控制w更新的步长

深度学习 反向传播backward在 随机梯度下降中的运用_第2张图片

简单的例题

深度学习 反向传播backward在 随机梯度下降中的运用_第3张图片


真实值为: x_{1}=1,x_{2}=2,w_{1}=0.4,w_{2}=0.5,y=1.4

假设我们只知道x_{1},x_{2},y并令η(学习率)为0.1,初始化权重w_{1}=0.5,w_{2}=0.4

\hat{y}为初始化权重所计算得出的估计值

 损失函数为:   ​​​Loss=\frac{1}{2}(\hat{y} - y)^{2}=\frac{1}{2}(1*0.5+2*0.4-1.4)^{2}=0.005

更新w_{1}:\frac{\partial Loss}{\partial w_{1}}=\frac{\partial Loss}{\partial y}*\frac{\partial y}{\partial w_{1}} 

\frac{\partial Loss}{\partial y}={\frac{1}{2}(\hat{y}-y)^{2}}'=\frac{1}{2}*2*(\hat{y}-y )=\hat{y}-y         

   \frac{\partial y}{\partial w_{1}}=(w_{1} * x_{1} + w_{2}*x_{2})'=x1

所以:\frac{\partial Loss}{\partial w_{1}}=(\hat{y}-y)*x1=-0.1

​​​​​​​w_{1}^{new} = w_{1} - \eta \cdot \frac{\partial Loss}{\partial w_{1}}更新得:w_{1}^{new}=0.51

同理得w_{2}^{new}=0.42

 通过更新完的权重可以得出新的损失函数

 Loss=\frac{1}{2}(\hat{y} - y)^{2}=\frac{1}{2}(1*0.51+2*0.42-1.4)^{2}=0.00125

 比上一次小了不少

你可能感兴趣的:(深度学习,python,深度学习)