神经网络和深度学习-2.3计算图和逻辑回归的梯度下降

任何神经网络都有一个向前计算和向后计算的过程。简而言之，利用一般的编程角度其实就是计算的过程，精简到每一次加法减法。

image.png

罗辑回归的梯度下降

首先回顾一下逻辑回归的基本公式

image.png

m个样本的梯度下降

image.png

上图的计算公式标明只有两个feature，输入的每一个样本x经过一个线性式得到z，再进行一个sigmoid函数得到预测的y hat。

下图是反向传播的过程

image.png

附上复合函数求导。。。时间太久了都忘了。。

image.png

上述是对单一x样本进行求导，对m个样本求梯度下降如下图

image.png

图里面有2个for循环，一个是遍历m个样本，内循环是遍历每个feature 。
这样当数据量非常大的时候会导致一个问题就是因为是O(nm)的复杂度，非常不利于运算。解决的办法就是使用向量化来解决。