神经网络基础

1.反向传播（这边推荐买鱼书）补充：反向传播就是求偏导
（1）加法门单元：均等分配
z=x+y
z对x求偏导：得到1
z对y求偏导：得到1
也就是均等分配
（2）MAX门单元：给最大的
（3）乘法门单元：互换
z=xy
z对x求偏导：得到y
z对y求偏导：得到x

绿色是前向传播：
输入x=3 , y=-4 ,通过乘法门单元，得到xy=-12。
输入x=2 , y=0 ,通过max门单元，得到结果2。
-12+2=-10 ，-10*2=-20.

红色是反向传播：
输入1，12=2 ，如何加法门单元求偏导，所以上下都是2
然后23=6 ，乘法门单元进行互换。
然后2*（-4）=-8门单元。
2通过max门单元，给原本绿色值比较大的z, 所以z=2；所以w=0.

2.