链式法则与反向传播过程解析

昨天听百度的课,发现我居然一直没搞懂链式法则计算反向传播的过程,今天专门看了一下,找到一个例子帮助大家学习

我们使用一个简单的逻辑回归的例子


这里绿色是前向计算,褐红色是反向传播。 

根据绿色值的设定,整个计算流程就是上面那个逻辑回归表达式,经过一步步运算,最终得到输出结果是0.73,此时如果和真正的结果比较,假如真实结果是1.73,会发现之间存在一个误差1.0

误差有了,需要相应的调整参数,于是我们需要反向传播。

开始反向传播得到过程:

很简单,就是拿 误差乘以导数

error=1,它是经过1/x计算得到的误差,导数f1=-1/x^2,反向传递 注意此时x的值是1.37,是运算前的值,不是运算后的结果值0.73   1X(-1/1.37^2)=-0.53

error=-0.53,它是经过x+1计算得到的误差,导数f2=1,反向传递    -0.53X(1)=f1Xf2=-0.53

error=-0.53,它是经过ex计算得到的误差,导数f3=ex,反向传递     -0.53X(e-1)=f1Xf2Xf3=-0.2

error=-0.2,它是经过-x计算得到的误差,导数f4=-1,反向传递        -0.2X(-1)=f1Xf2Xf3Xf4=0.2

error=0.2,它是经过m1+m2计算得到的误差,它有2个导数,

                对m1的导数f51=1,反向传递        0.2X(1)=f1Xf2Xf3Xf4Xf51=0.2

                对m2的导数f52=1,反向传递        0.2X(1)=f1Xf2Xf3Xf4Xf52=0.2

error=0.2,它是经过m3+m4 (这里是图中两个红框右边的那个加法操作)计算得到的误差,它有2个导数,

                对m3的导数f61=1,反向传递        0.2X(1)=f1Xf2Xf3Xf4Xf51Xf61=0.2

                对m4的导数f62=1,反向传递        0.2X(1)=f1Xf2Xf3Xf4Xf51Xf62=0.2


error=0.2,它是经过n1*n2 (这里是图中上面的那个红框的乘法操作)计算得到的误差,它有2个导数,

                对n1的导数f71=n2,反向传递        0.2X(-1)=f1Xf2Xf3Xf4Xf51Xf61Xf71=-0.2

                对n2的导数f72=n1,反向传递        0.2X(2)=f1Xf2Xf3Xf4Xf51Xf61Xf72=0.4

error=0.2,它是经过n3*n4 (这里是图中下面的那个红框的乘法操作)计算得到的误差,它有2个导数,

                对n3的导数f81=n4,反向传递        0.2X(-2)=f1Xf2Xf3Xf4Xf51Xf62Xf81=-0.2

                对n4的导数f82=n3,反向传递        0.2X(-3)=f1Xf2Xf3Xf4Xf51Xf62Xf82=-0.6

需要注意的是,误差从输出一层一层往前传播,不可以跳过某些中间步骤,在计算每一步的误差时,需要乘上上一步得到的误差(链式法则,层层相乘)。

至此,我们发现可以根据反向传播,修改参数w0,w1,w2的值,然后继续后续的工作。


在传播过程中,如果某一部分可以直接用一整个函数代替,则可以对整块求导,然后将导数值传到上一步,如下图所示,这仍然符合链式求导法则

蓝色框内其实就是sigmoid函数,其导数为 f*(1-f)=(0.73x(1-0.73))=0.2,反向传递 1X0.2=0.2


其实在实际过程中,完整的反向传播应该是下图

你可能感兴趣的:(链式法则与反向传播过程解析)