【Andrew Ng Deep Learning个人学习笔记】 2、神经网络基础（2）

计算图（Computation Graph）

举例：
  $J(a,b,c)=3(a+bc)⟹\{\begin{array}{l}u=bc\\ v=a+u\\ J=3v\end{array}$
那么这个函数的计算图为：

  
  

逻辑回归梯度下降算法（Gradient descent algorithm）

单个训练样本（One training sample）：
   $z=w^T+b$
   $\hat{y}=a=\sigma (z)$
   $L(a,y)=-(ylog(a)+(1-y)log(1-a))$
  计算图（Computaion Graph）:

  计算导数(Derivative)：
   $\frac{dl(a,y)}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$
   $\frac{dl(a,y)}{dz}=\frac{dl}{da}\cdot \frac{da}{dz}$
       $=(-\frac{y}{a}+\frac{1-y}{1-a})a(1-a)$
       $=a-y$
   $\frac{dl(a,y)}{d{w}_1}=x_1(a-y)$
   $\frac{dl(a,y)}{d{w}_2}=x_2(a-y)$
   $\frac{dl(a,y)}{db}=a-y$
  
  这实际上是把逻辑回归看作单层的神经网络，用反向传播算法（Back Propagation Algorithm）计算出各个参数的导数，以便下一步用梯度下降算法计算出代价最小的参数。
  
多个训练样本（m training samples）：
  $J(w,b)=\frac{1}{m}{\sum }_{i=1}^{m}l(a^{(i)},y^{(i)})$
  $a^{(i)}={\hat{y}}^{(i)}=\sigma (z^{(i)})=\sigma (w^T{x}^{(i)}+b)$
  $\frac{\partial J(w,b)}{\partial w_1}=\frac{1}{m}{\sum }_{i=1}^m\frac{\partial l(a^{(i)},y^{(i)})}{\partial w_1}$
  $\frac{\partial J(w,b)}{\partial b}=\frac{1}{m}{\sum }_{i=1}^m\frac{\partial l(a^{(i)},y^{(i)})}{\partial b}$
  
逻辑回归算法（Logistic regression algorithm）
  Repeat{
      $J=0;d{w}_1=0;d{w}_2=0;db=0$
     For i in range(m):
       $z^{(i)}=w^T{x}^{(i)}+b$
       $a^{(i)}=\sigma (z^{(i)})$
       $J+=y^{(i)}log{a}^{(i)}+(1-y^{(i)})log(1-a^{(i)})$
       $d{z}^{(i)}=a^{(i)}-y^{(i)}$
       $d{w}_1^{(i)}+=x_1^{(i)}d{z}^{(i)}$
       $d{w}_2^{(i)}+=x_2^{(i)}d{z}^{(i)}$
       $db+=d{z}^{(i)}$
     $J/=m$
     $d{w}_1/=m$
     $d{w}_2/=m$
     $db/=m$
     
     $w_1=w_1-\alpha d{w}_1$
     $w_2=w_2-\alpha d{w}_2$
     $b=w_1-\alpha db$
  }
  
  未完待续…