吴恩达深度学习课程笔记

通用符号总结

符号	含义
$m$	训练集规模（样本数量）
$(x,y),x\in {\mathbb{R}}^{nx},y\in \{0,1\}$	样本
$x\in {\mathbb{R}}^{nx}$	表示$x$是$nx\times 1$维矩阵
$\mathbb{R}$	实数
$x^{(i)}$	第$i$个样本
$X=\left[\begin{array}{cccc}|& |& |& |\\ & & & \\ x^{(1)}& x^{(2)}& \dots & x^{(m)}\\ & & & \\ |& |& |& |\\ & & & \end{array}\right],X\in {\mathbb{R}}^{nx\times m}$	纵向排列，约定俗成的排列方式
$Y=\left[\begin{array}{cccc}{y}^{(1)}& y^{(2)}& \dots & y^{(m)}\end{array}\right],Y\in {\mathbb{R}}^{1\times m}$	纵向排列，约定俗成的排列方式
$\hat{y}$	对$y$的预测值
$w\in {\mathbb{R}}^{nx\times 1},b\in \mathbb{R}$	逻辑回归参数
$\alpha$	学习率
$：=$	更新
$\frac{\mathrm{d}\mathcal{J}(w,b)}{\mathrm{d}b}$	对$b$求导，在python中通常使用表示db此变量

激活函数sigmoid

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

1、Logistic回归

作用：在监督学习下解决二分类问题
$$\hat{y}=\sigma (w^{T}x+b)$$
目标： 学习$w$和$b$
Logistic回归loss function：$\mathcal{L}(\hat{y},y)=-(y\log \hat{y}+(1-y)\log (1-\hat{y}))$
Logistic回归cost function：$\mathcal{J}(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^i,y^i)$

Loss function ：用于衡量在单个训练样本上的表现
Cost function：用于衡量在全体训练样本上的表现

2、梯度下降法

$\mathcal{J}(w,b)$
$w:=w-\alpha \frac{\mathrm{d}\mathcal{J}(w,b)}{\mathrm{d}w}$
$b:=b-\alpha \frac{\mathrm{d}\mathcal{J}(w,b)}{\mathrm{d}b}$
$\alpha$表示学习率

3、Logistic回归的梯度下降算法

$z=w^{T}x+b$
$\hat{y}=a=\sigma (z)$
$\mathcal{L}(a,y)=-(y\log (a)+(1-y)\log (1-a))$

3.1假设只有一个训练样本$(x,y)$

$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$ , $w=\left[\begin{array}{c}{w}_1\\ w_2\end{array}\right]$

以下给出计算过程：
da=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}a}=\frac{\mathrm{d}[-(y\log (a)+(1-y)\log (1-a))]}{\mathrm{d}a}=\frac{\mathrm{d}[-(y\ln (a)+(1-y)\ln (1-a))]}{\mathrm{d}a}=-\frac{a}{y}+\frac{1-y}{1-a}$
dz=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}z}=\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}=\frac{\mathrm{d}[\frac{1}{1+e^{-z}}]}{\mathrm{d}z}\times (-\frac{a}{y}+\frac{1-y}{1-a})=\frac{e^{-z}}{(1+e^{-z}{)}^2}=(1-a)\times a\times (-\frac{a}{y}+\frac{1-y}{1-a})=a-y$
还记得我们的目标吗？我们的目标是！求$w$和$b$!
dw1=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}{w}_1}$=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}{w}_1}$=dz$x_1$=$x_1(a-y)$
dw2=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}{w}_2}$=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}a}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}{w}_2}$=dz$x_2$=$x_2(a-y)$
db=$\frac{\mathrm{d}\mathcal{L}(a,y)}{\mathrm{d}b}\frac{\mathrm{d}a}{\mathrm{d}z}\frac{\mathrm{d}z}{\mathrm{d}b}$=dz=$a-y$

ps:这里的$log(a)$就是$lna$的意思，估计老师习惯使用python中的代码表达方式?

梯度下降：
$w_1：=w_1-\alpha$dw1
$w_2：=w_2-\alpha$dw2
$b：=b-\alpha$db

3.2假设有m个训练样本:

首先，让我们时刻记住有关于成本函数$\mathcal{J}(w,b)$的定义:
$\mathcal{J}(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^i,y^i)$
还记得我们的目标吗？我们的目标是！求$w$和$b$!
此时
dw1=$\frac{\mathrm{d}\mathcal{J}(a,y)}{\mathrm{d}{w}_1}$ , dw2=$\frac{\mathrm{d}\mathcal{J}(a,y)}{\mathrm{d}{w}_2}$ , db=$\frac{\mathrm{d}\mathcal{J}(a,y)}{\mathrm{d}b}$

那么在算法中应该如何实现呢？伪代码如下所示：

J=0;dw1=0;dw2=0;db=0;
for i = 1 to m
    z(i) = wx(i)+b;
    a(i) = sigmoid(z(i));
    J += -[y(i)log(a(i))+(1-y(i)）log(1-a(i));
    dz(i) = a(i)-y(i);
    dw1 += x1(i)dz(i);
    dw2 += x2(i)dz(i);
    db += dz(i);
J/= m; 
dw1/= m;
dw2/= m;
db/= m;
w=w-alpha*dw
b=b-alpha*db

3.3向量化

在上面的伪代码中我们可以看到，需要很多很多for循环才可以实现训练，但是显式地使用for循环的时间开销很大，在实际的代码编写中应尽量使用向量化的代码，可以极大减少时间开销。
链接: numpy的参考文档

向量化的逻辑回归实现：
假设有$m$个样本:
此时$X=\left[\begin{array}{cccc}|& |& |& |\\ & & & \\ x^{(1)}& x^{(2)}& \dots & x^{(m)}\\ & & & \\ |& |& |& |\\ & & & \end{array}\right],X\in {\mathbb{R}}^{nx\times m}$
$Y=\left[\begin{array}{cccc}{y}^{(1)}& y^{(2)}& \dots & y^{(m)}\end{array}\right],Y\in {\mathbb{R}}^{1\times m}$

$Z=\left[\begin{array}{cccc}{z}^{(1)}& z^{(2)}& \dots & z^{(m)}\end{array}\right],Z\in {\mathbb{R}}^{1\times nx}$
$w\in {\mathbb{R}}^{nx\times 1},b\in \mathbb{R}$
$B=[b,b,\dots ,b],B\in {\mathbb{R}}^{1\times m}$
此时逻辑回归写作：
      $Z=w^{T}X+B$
      $A=\sigma (Z)$
      $\mathrm{d}z=A-Y$
      $\mathrm{d}w=\frac{1}{m}\times X\times \mathrm{d}{z}^T$
      $\mathrm{d}b=\frac{1}{m}\sum _{i=1}^m\mathrm{d}{z}^{(i)}$
      更新：
      $w：=w-\alpha \mathrm{d}w$
      $b：=b-\alpha \mathrm{d}b$
代码写作：

for iter in range(1000):\\1000次梯度下降
	Z=np.dot(w.T,X)+b
	A=sigmoid(Z)
	dZ=A-Y
	dw=np.dot(X,dZ.T)/m
	db=np.sum(dZ)/m

3.4广播

播提供了一种向量化数组操作的方法，是重要的NumPy抽象
使用广播替代显示的for循环可以减少代码运行时间
链接: numpy广播

广播操作的注意事项：

• 用矩阵不要用数组
  也就是不要用np.random.randn(3),而是用np.random.randn(3,1)
• 尽量用列向量
  也就是不要用np.random.randn(1,3),而是用np.random.randn(3,1)
• 使用.shap , .assert ,.reshap来确保矩阵形状

4、 神经网络

这是一个两层神经网络

这是一个简单的神经网络示意图，只有一个训练样本。
一个圈圈表示：

其中：
$x_1$是一个数，$w_1$是一个数
$x=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\in {\mathbb{R}}^{3\times 1}$，$w_1^{[1]}=\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]\in {\mathbb{R}}^{3\times 1}$
$z_i^{[j]}$上面的j表示所在层数，下面的i表示是该层的第几个节点
$w^{[1]}=\left[\begin{array}{c}{w}_1^{[1]T}\\ w_2^{[1]T}\\ w_3^{[1]T}\\ w_4^{[1]T}\end{array}\right]\in {\mathbb{R}}^{4\times 3}$
$b^{[1]}=\left[\begin{array}{c}{b}_1^{[1]T}\\ b_2^{[1]T}\\ b_3^{[1]T}\\ b_4^{[1]T}\end{array}\right]\in {\mathbb{R}}^{4\times 1}$
$a^{[1]}=\left[\begin{array}{c}{a}_1^{[1]T}\\ a_2^{[1]T}\\ a_3^{[1]T}\\ a_4^{[1]T}\end{array}\right]\in {\mathbb{R}}^{4\times 1}$
$z^{[1]}=\left[\begin{array}{c}{b}_1^{[1]T}\\ b_2^{[1]T}\\ b_3^{[1]T}\\ b_4^{[1]T}\end{array}\right]\in {\mathbb{R}}^{4\times 1}$

$z_1^{[1]}=w_1^{[1]T}x+b_1^{[1]},a_1^{[1]}=\sigma (z_1^{[1]})$
$z_2^{[1]}=w_2^{[1]T}x+b_2^{[1]},a_2^{[1]}=\sigma (z_2^{[1]})$
$z_3^{[1]}=w_3^{[1]T}x+b_3^{[1]},a_3^{[1]}=\sigma (z_3^{[1]})$
$z_4^{[1]}=w_4^{[1]T}x+b_4^{[1]},a_4^{[1]}=\sigma (z_4^{[1]})$
由此可以推出：
$z^{[1]}=w^{[1]}x+b^{[1]}$
$a^{[1]}=\sigma (z^{[1]})$
$z^{[2]}=w^{[2]}{a}^{[2]}+b^{[2]}$
$a^{[2]}=\sigma (z^{[2]})$
当有多个$m$的时候
$Z^{[1]}=w^{[1]}X+b^{[1]}$
其中
$X=[x^{[1]},x^{[2]},\dots ,x^{[m]}]\in {\mathbb{R}}^{3\times m}$
$Z^{[1]}=[z^{[1](1)},z^{[1](2)},\dots ,z^{[1](m)}]\in {\mathbb{R}}^{4\times m}$
$z^{[i](j)}$表示第i层第j个样本
$A^{[1]}=[a^{[1](1)},a^{[1](2)},\dots ,a^{[1](m)}]\in {\mathbb{R}}^{4\times m}$
由此可以推出
$Z^{[1]}=w^{[1]}X+b^{[1]}$
$A^{[1]}=g^{[1]}(Z^{[1]})$
$Z^{[2]}=w^{[2]}X+b^{[2]}$
$A^{[2]}=g^{[2]}(Z^{[2]})=\sigma (Z^{[2]})$

5、激活函数

5.1 常用激活函数

sigmoid : $\sigma (z)=\frac{1}{1+e^{-z}}$

tanh: $tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$
tanh就是sigmoid的平移,比起后者有数据中心化的优点

Relu ：$Relu(z)=max(0,z)$

Leaky Relu :$LeakyRelu(z)=max(0.01z,z)$
这个0.01的值可以是任意较小的值

5.2 经验

经验：
1、隐藏层用tanh或relu，别用sigmoid，输出层用sigmoid（因为输出的标签一般在0~1之间）
2、但在实际的实验中还是都试试，哪个效果好用哪个

5.3 为什么要用激活函数

如果不用激活函数,每一层输出都是上层输入的线性函数,无论神经网络有多少层,输出都是输入的线性组合,这种情况就是最原始的感知机。
补充：为什么要随机初始化，不随机初始化则同一层的每个节点的计算结果都相同，那么有很多的节点就没有意义。

6、神经网络的梯度下降法

以两层神经网络举例：

参数：

输入特征：$n^{[0]}=nx个$
隐藏单元：$n^{[1]}$个
输出单元：$n^{[2]}$个
$w^{[1]}\in {\mathbb{R}}^{n^{[1]}\times n^{[0]}}$
$b^{[1]}\in {\mathbb{R}}^{n^{[1]}\times 1}$
$w^{[2]}\in {\mathbb{R}}^{n^{[2]}\times n^{[1]}}$
$b^{[2]}\in {\mathbb{R}}^{n^{[2]}\times 1}$
$\hat{y}=a^{[2]}$

cost function:

$J=(w^{[1]},b^{[1]},w^{[2]},b^{[2]})=\frac{1}{m}\sum _{i=1}^m(\hat{y},y)$

正向传播：

$Z^{[1]}=w^{[1]}X+b^{[1]}$阿萨
$A^{[1]}=g^{[1]}(Z^{[1]})$
$Z^{[2123234556789897/\ast /\ast 12345678454556235678856123564879787]}=w^{[2]}X+b^{[2]}$
$A^{[2]}=g^{[2]}(Z^{[2]})=\sigma (Z^{[2]})$

反向传播：

$d{z}^{[2]}=A^{[2]}-Y$
$d{w}^{[2]}=\frac{1}{m}d{z}^{[2]}{A}^{[1]T}$
$d{b}^{[2]}=\frac{1}{m}$np.sum($d{z}^{[2]}$,axis=1,keepdims=True)
$d{z}^{[1]}=W^{[2]T}d{z}^{[2]}\times g^{[1{]}^{\prime }}(z^{[1]})$
$d{w}^{[1]}=\frac{1}{m}d{z}^{[1]}{X}^T$
$d{b}^{[1]}=\frac{1}{m}$np.sum($d{z}^{[1]}$,axis=1,keepdims=True)

随机初始化

以如下神经网络为例：

• $w^{[1]}=$np.random.randn((2,2))$\ast 0.01$
  (w不可以为0，0.01是权重，权重小一点更可以适应于之前提到的激活函数)
• $b^{[1]}=$np.zero((2,1))
  (b可以为0)
• $w^{[2]}=$np.random.randn((1,2))$\ast 0.01$
• $b^{[2]}=0$

7、深层神经网络

数层数时：层数=隐层数+输出层
$z^{[l]}=w^{[l]}{a}^{[l-1]}+b^{[l]}$
$a^{[l]}=g^{[l]}(z^{[l]})$

7.1 核对矩阵的维数

$d{w}^{[l]},w^{[l]}\in {\mathbb{R}}^{n^{[l]}\times n^{[l-1]}}$
$d{b}^{[l]},b^{[l]}\in {\mathbb{R}}^{n^{[l]}\times 1}$
$Z^{[l]},A^{[l]}\in {\mathbb{R}}^{n^{[l]}\times m}$
$d{z}^{[l]},d{a}^{[l]}\in {\mathbb{R}}^{n^{[l]}\times m}$
注意：$A^{[0]}=X$

7.2 前向和反向传播

前向：
$Z^{[l]}=W^{[l]}{A}^{[l-1]}+b^{[l]}$
$A^{[l]}=g^{[l]}(Z^{[l]})$
反向：
$d{z}^{[l]}=d{a}^{[l]}\times g^{[l{]}^{\prime }}(Z^{[l]})$
$d{w}^{[l]}=\frac{1}{m}d{z}^{[l]}\times A^{[l-1]T}$
$d{b}^{[l]}=\frac{1}{m}$np.sum($d{z}^{[l]}$,axis=1,keepdims=True)
$d{a}^{[l-1]}=w^{[l]T}\times d{z}^{[l]}$