吴恩达深度学习总结(1)

本周主要介绍了神经网络中forward和backward的一般实现和向量实现。一般实现较为简单，向量实现中存在一些疑点
$\mathbf{X}$ 是一个由训练集组成的矩阵，每一列代表一个数据，列数为数据的大小
$\mathbf{\omega }$ 是训练参数，大小与 $\mathbf{X}$一列的大小一致
$b$ 为偏差(bias)，为一个标量

forward

$\mathbf{Z}=np.dot(\mathbf{\omega }.T,\mathbf{X})+b$
$\mathbf{A}=\sigma (\mathbf{Z})$，其中 $\sigma (\mathbf{x})=\frac{1}{1-e^{-\mathbf{x}}}$
通过编程实现为 $1/(1-np.exp(-\mathbf{X}))$
Cost Function(Loss Function)通过矩阵实现时应该注意Cost Function是将所有的预测误差相加取平均得到的，不可以直接用矩阵乘法使其变为标量
$$L=1/m\ast np.sum((-\mathbf{Y}\ast np.log(\mathbf{A})+(1-\mathbf{Y})\ast np.log(1-\mathbf{A})))$$，其中m为样本的个数

backward

backward实际上是一个链式求导的过程，backward最根本的式子是通过梯度下降法来更新w和b
$$\frac{\partial L}{\partial \mathbf{A}}=-(\frac{\mathbf{Y}}{\mathbf{A}}-\frac{1-\mathbf{Y}}{1-\mathbf{A}})\frac{\partial \mathbf{A}}{\partial \mathbf{Z}}=\mathbf{A}(1-\mathbf{A})\frac{\partial \mathbf{Z}}{\partial \mathbf{\omega }}=\mathbf{X}$$
所以，我们可以表示 $d\omega$ 为$d\omega =np.dot(\mathbf{X},(\mathbf{A}-\mathbf{Y}).T)$，这个求解出来为m个样本训练出w的变化总和，因此应该除以m，所以为$d\omega =1/m\ast np.dot(\mathbf{X},(\mathbf{A}-\mathbf{Y}).T)$。
同理可求$db$，但是由于b为标量，因此需要对求出的m次训练的b求和，即 $db=1/m\ast np.sum(\mathbf{A}-\mathbf{Y})$。根据这两个值即可以更新 $\omega$ 和 $b$