【机器学习小记】【平面数据分类】deeplearning.ai course1 3rd week programming

目标：带有一个隐藏层的平面数据分类神经网络

参考自：【中文】【吴恩达课后编程作业】Course 1 - 神经网络和深度学习 - 第三周作业

数据集介绍

X：一个numpy的矩阵，包含了这些数据点的数值
Y：一个numpy的向量，对应着的是X的标签【0 | 1】（红色:0 ， 蓝色 :1）

数据集形状

X的维度为: (2, 400)
Y的维度为: (1, 400)
数据集里面的数据有：400 个

模型搭建

该图是具有两层结构的神经网络（一个隐藏层），隐藏层的结点数为4个（之后可改）

参数初始化

标准差为1 均值为0 的正态分布 随机数
乘上0.01是保证参数足够小（w太大会导致梯度消失）

W1 = np.random.randn(n_h, n_x) * 0.01
b1 = np.zeros(shape=(n_h, 1))
W2 = np.random.randn(n_y, n_h) * 0.01
b2 = np.zeros(shape=(n_y, 1))

注：

1. w这里已经【转置】
2. b这里也可以用python的【广播】机制，而不用赋值成向量

前向传播

隐藏层

$$z^{[1](i)}=w^{[1]}{x}^{[0](i)}+b^{[1](i)}$$
激活值：
$$a^{[1](i)}=tanh(z^{[1](i)})$$

---

输出层

$$z^{[2](i)}=w^{[2]}{a}^{[1](i)}+b^{[2](i)}$$
激活值（预测值）：
$${\hat{y}}^{(i)}=a^{[2](i)}=sigmoid(z^{[2](i)})$$
损失函数：
$$L(a^{(i)},y^{(i)})=-y^{(i)}\log (a^{[2](i)})-(1-y^{(i)})\log (1-a^{[2](i)})$$
成本函数：
$$J=\frac{1}{m}\sum _{i=1}^{n}L(a^{[2](i)},y^{(i)})$$

反向传播

输出层

$$\frac{d(cost)}{d{a}_2}=-\frac{y}{a_2}+\frac{(1-y)}{(1-a_2)}$$
$$\frac{d{a}_2}{d{z}_2}=a_2(1-a_2)$$
所以，
$$d{z}_2::=\frac{d(cost)}{dz}=a_2-y$$
$$d{w}_2::=\frac{d(cost)}{d{w}_2}=a_1\cdot "d{z}_2^T"$$
$$d{b}_2::=\frac{d(cost)}{d{b}_2}="d{z}_2"$$
其中，
$sigmoid(z)=\frac{1}{1+e^{-x}}$

$a_2=sigmoid(z_2)$

$z_2=w_2\ast a_1+b_2$

---

隐藏层

$$\frac{d{a}_1}{d{z}_1}=1-a_1^2$$

$$d{z}_1::=\frac{d(cost)}{d{z}_1}=\frac{d(cost)}{d{z}_2}\cdot \frac{d{z}_2}{d{a}_1}\cdot \frac{d{a}_1}{d{z}_1}="d{z}_2"\cdot "w_2^T"\ast (1-a_1^2)$$
$$d{w}_1::=\frac{d(cost)}{d{w}_1}=x\cdot "d{z}_1^T"$$
$$d{b}_1::=\frac{d(cost)}{d{b}_1}="d{z}_1"$$

其中，
$tanh(z)=\frac{e^x-e^{-x}}{e^x+e^{-x}}$

$a_1=tanh(z_1)$

$z_2=w_2\ast a_1+b_2$

$z_1=z_1\ast x+b_1$

梯度下降更新参数

梯度下降 更新参数

W1 = W1 - learning_rate * dW1
b1 = b1 - learning_rate * db1
W2 = W2 - learning_rate * dW2
b2 = b2 - learning_rate * db2

预测

由于，输出层使用了sigmoid函数，预测值的范围为(0,1)
使用np.around()，可以对结果进行四舍五入，换句话说，就是把预测的概率转换成独热编码(one-hot encoding)的方式

其他

np.dot() 与 np.multiply() 的区别

np.dot() 对于二维矩阵，同线性代数中定义的乘法相同。
np.multiply() 在python中，实现对应元素相乘

example:
X = [[1,2],
    [3,4]]
Y = [[5,6],
    [7,8]]
np.dot(X,Y)=
     [[19 22]
     [43 50]]
np.multiply(X,Y)=
     [[ 5 12]
     [21 32]]
X*Y=
     [[ 5 12]
     [21 32]]

结果

使用简单逻辑回归

逻辑回归的准确性： 47 % (正确标记的数据点所占的百分比)

测试不同的隐藏层神经元数

当n_h = 5时，效果比较好

当神经元数达到20时，出现过拟合现象

隐藏层的节点数量： 1  ，准确率: 67.5 %
隐藏层的节点数量： 2  ，准确率: 67.25 %
隐藏层的节点数量： 3  ，准确率: 90.75 %
隐藏层的节点数量： 4  ，准确率: 90.5 %
隐藏层的节点数量： 5  ，准确率: 91.25 %
隐藏层的节点数量： 20  ，准确率: 90.5 %
隐藏层的节点数量： 50  ，准确率: 90.75 %

测试其他数据集

原始数据集

测试不同的隐藏层神经元数

效果同之前的数据集类似，当神经元数达到20时，出现过拟合现象

隐藏层的节点数量： 1  ，准确率: 86.0 %
隐藏层的节点数量： 2  ，准确率: 86.5 %
隐藏层的节点数量： 3  ，准确率: 97.0 %
隐藏层的节点数量： 4  ，准确率: 96.5 %
隐藏层的节点数量： 5  ，准确率: 96.0 %
隐藏层的节点数量： 20  ，准确率: 86.0 %
隐藏层的节点数量： 50  ，准确率: 86.0 %