02 神经网络 - 神经网络和深度学习 [Deep Learning Specialization系列]

本文是Deep Learning Specialization系列课程的第1课《Neural Networks and Deep Learning》中Logistic Regression as a Neural Network部分的学习笔记。

内容包括：

• 逻辑回归和二进制分类
• 损失函数、代价函数和梯度递减法
• 计算图
• 正向传播和反向传播
• 向量化

1. 逻辑回归和二进制分类

逻辑回归（Logistics Regression）是用来处理二进制分类（Binary Classification）的一个算法，比如简单的是猫（1）或不是猫（0）的图像分类问题。

对一张RGB图片，计算机是以像素来存储的，假如输入的是一个6464的RGB图片，其总共大小为6464*3=12288。 那么输入数据x的维度就是nx = 12288。

二进制分类，就是输入图片（将其转换为向量x），通过一个分类方法，来判断这个图片上的内容（输出y）。
这里单个训练数据就是（x, y）, 其中，x是$n_x$维的特征向量，y是1或0的标注数据。

当训练数据集有m个时，训练数据就可表示为
$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\dots ,(x^{(m)},y^{(m)})\}$
此时训练数据集中的X就是$n_x\ast m$维度的矩阵了，而Y是$1\ast m$维度的矩阵。

逻辑回归

继续上面的二进制分类问题，当我们输入x（比如说转变为特征向量的图片），得到$\hat{y}$，这个$\hat{y}$是这个标注结果y的一个概率，即$p(y=1|x)$。
这里，x仍是一个$n_x$维度的特征向量。

对于线性回归问题，这里会涉及到两个参数：w和b，其中w是和x同维度的向量，b是一个实数（也成为偏置，bias）。最后的方程式是：
$\hat{y}=w^T\ast x+b$

由于$\hat{y}$是 y=1 的概率，对上面的公式，我们应该加一个函数将其限定在(0, 1)这个区间内，这个函数就叫做激活函数(Activate Function)，比如sigmoid、relu函数。
输出: $\hat{y}=\sigma (w^T\ast x+b)$
sigmoid函数：$\sigma (z)=1/(1+e^{-z})$

一般情况下，我们会把w和b分开来处理，但可能有些研究会将其合并为统一的参数。

2. 损失函数和代价函数

由于我们的训练数据一般是一个数据集，因此针对某一个数据时，一般在对应的参数右上角加一个$(i)$来标记，如：

• 输入：$\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\}$
• 输出：${\hat{y}}^{(i)}$

则逻辑回归函数为：
${\hat{y}}^{(i)}=\sigma (w^T\ast x^{(i)}+b)$ where $\sigma (z^{(i)})=1/(1+e^{-z(i)})$

损失函数（Loss Function）

损失函数（Loss Function）是为了量测输出值$\hat{y}$是有多接近标注数据y，表示为$\ell (\hat{y},y)$，这里使用log函数，而不是平方误差（因为平方误差会得到带有多个局部最优值的优化问题。 因此，通过梯度下降法可能找不到全局最优值）。
$\ell (\hat{y},y)=-(y\ast log\hat{y}+(1-y)\ast log(1-\hat{y}))$

• 当y为1时，$\ell (\hat{y},y)=-log\hat{y}$，则期望$log\hat{y}$越大越好，即$\hat{y}$越大越好。
• 当y为0时，$\ell (\hat{y},y)=-log(1-\hat{y})$，则期望$log(1-\hat{y})$越大越好，即$\hat{y}$越小越好

代价函数（Cost Function）

损失函数（Loss Function）是针对一个数据的，当针对整个数据集时，需要用到的是代价函数（Cost Function），针对参数w和b的一个平均值：
$J(w,b)=1/m\ast \sum (\ell ({\hat{y}}^{(i)},y^{(i)}))=-1/m\ast \sum [y^{(i)}\ast log{\hat{y}}^{(i)}+(1-y^{(i)})\ast log(1-{\hat{y}}^{(i)})]$

梯度递减法

损失函数选择的比较恰当后，会根据w和b值的不同，呈现出一个碗状，会=存在一个最小值。这就需要来应用梯度递减法来找到最小的参数w和b了。

这里引入了超参数学习率(learning rate)，对w，运用如下公式进行梯度递减的计算：
$w=w-\alpha \ast dw$
其中$dw$是w关于$J(w,b)$的导数，也可以理解为在w这点的斜率。如下图所示，不管dw是正还是负，通过循环计算后，都会指向函数的最小值。

对偏置b也是一样：$b=b-\alpha \ast db$

3. 计算图和反向传播

计算图（Computation Graph）是将计算的过程用图形表示出来，比如：
$J(a,b,c)=3(a+bc)$这样一个简单的函数，可以将其拆分成更小的函数，$u=bc$，$v=a+u$，$J=3v$，并将每一步用图来表示出来。

链式法则和反向传播

在求复合函数的导数时，将组成符合函数的各个子函数按照计算图的方式列出来，先求各个子函数的导数，再通过链式法则(Chain Rule)来求最后复合函数的导数。

首先，我们来先求$J$关于$v$的导数$dv=\partial J/\partial v$，因为$J=3v$这里只有一步，所以能直接求得$dv=\partial J/\partial v=3$

继续来通过链式法则来进行反向传播（Back Propagation）的计算。
如果要求$J$关于$a$的导数$da=\partial J/\partial a$，这里就有$J=3v$和$v=a+u$两步了，因此就需要用到链式法则，$da=\frac{\partial J}{\partial v}\ast \frac{\partial v}{\partial a}=3\ast 1=3$.

依次求J关于b和c的导数

• $db=\partial J/\partial b=\frac{\partial J}{\partial v}\ast \frac{\partial v}{\partial u}\ast \frac{\partial u}{\partial b}=3\ast 1\ast c=6$
• $dc=\partial J/\partial c=\frac{\partial J}{\partial v}\ast \frac{\partial v}{\partial u}\ast \frac{\partial u}{\partial c}=3\ast 1\ast b=9$

这里假设b由3稍微变大点为3.001，那么先是影响u，将其从6变为6.002，再影响v，将其从11变为11.002，最后影响到J，将其从33变为33.006。这里也能看出，当b增长0.001时，J最终增长$0.001\ast 6=0.006$

损失函数的反向传播

上面逻辑回归的函数也是一个复合函数：

• $z=w^T\ast x+b$
• $\hat{y}=a=\sigma (z)$
• $\ell (a,y)=-(y\log (a)+(1-y)\log (1-a))$

假设我们有两个输入值$x_1$，$x_2$，为了计算$z$，还需要$w_1$，$w_2$和$b$。将上面的函数以计算图的方式表现出来，如下所示：

通过反向传播求导：
$da=\partial L(a,y)/\partial a=-y/a+(1-y)/(1-a)$
$dz=\partial L(a,y)/\partial z=\frac{\partial L(a,y)}{\partial a}\ast \frac{\partial a}{\partial z}=(-y/a+(1-y)/(1-a))\ast a(1-a)=a-y$
$d{w}_1=\partial z/\partial w_1=x_1\ast dz$
$d{w}_2=\partial z/\partial w_2=x_2\ast dz$
$db=\partial z/\partial b=dz$

那么$w_1$的梯度递减计算可表示为：$w_1=w_1-\alpha \ast d{w}_1$

Cost Function的反向传播

Cost Function的表达式是：
$J(w,b)=1/m\ast \sum (\ell (a^{(i)},y^{(i)}))$
其中，$a^{(i)}=\hat{y}(i)=\sigma (z)=\sigma (w^T{X}^{(i)}+b)$

其参数仍然为$w_1$，$w_2$和$b$，那通过Cost Function来对参数（如$w_1$）进行求导，公式如下：
$\frac{\partial }{\partial w_1}J(w,b)=1/m\ast \sum \frac{\partial }{\partial w_1}\ell (a^{(i)},y^{(i)})$

在计算时，由于有m个训练数据集，因此需要一个循环来计算$dJ$, $dw$, $db$的总和，再求均值。最后通过梯度递减算法来找到参数的最小值。

4. 向量化

从上面对m个训练数据集的计算方式可以看出，我们还是在使用循环的方式，这在数值运算中，效率是很低的，这里，我们就需要用到向量化（Vectorization）。

the vectorization of a matrix is a linear transformation which converts the matrix into a column vector.

这里使用到的向量化，似乎与维基的解释不一样，简单的理解就是代替了原来的循环，将本来要做m次循环的计算转化为1次计算。

还是以之前的逻辑回归为例，其计算方式是将各个参数分开来计算，如下所示：

这里要做的向量化就是把各个量组合成向量或者矩阵，比如：
$$X=\left[\begin{array}{cccc}.& .& .& .\\ x^{(1)}& x^{(2)}& .& x^{(m)}\\ .& .& .& .\end{array}\right]$$
$Z=[z^{(1)},z^{(2)},\dots ,z^{(m)}]=w^{T}X+b$

再加上Numpy的广播功能这样，就可以表示成 Z = np.dot(w.T, X) + b

对逻辑回归的反向传播，也同样可以用这种向量化的方式。

1. $A=[a^{(1)},a^{(2)},\dots ,a^{(m)}]=\sigma (Z)$
2. $Y=[y^{(1)},y^{(2)},\dots ,y^{(m)}]$
3. $dZ=[d{z}^{(1)},d{z}^{(2)},\dots ,d{z}^{(m)}]=A-Y$
4. $dw=1/m\ast Xd{Z}^T$
5. $db=1/m\ast \sum (dz)$