深度学习吴恩达第一章——神经网络的初步了解和逻辑回归

一、引言

1.什么是神经网络

Relu——rectified linear unit(修正线性单元)

2.各种类型的神经网络

1. SNN：标准神经网络，用于房价预测，在线广告是否点击
2. CNN：卷积神经网络，用于图像识别
3. RNN：循环神经网络，用于时间序列数据，语音识别
4. 混合神经网络

3.结构化数据和非结构化数据

4.神经网络与传统的监督学习

二、逻辑回归（二分类）

1.约定的符号

2.logistic 回归

在神经网络中，$w$和$b$分开表示

3.logistic 回归的损失函数

为什么在逻辑回归中，损失函数不使用$L(\hat{y}-y)=\frac{1}{2}(\hat{y}-y{)}^2$呢，因为在逻辑回归中,该损失函数是非凸的，有多个局部最优。

4.梯度下降法

（1）成本函数

（2）梯度下降法的原理

（3）单个训练样本的logistic回归的一次梯度更新

a.单个训练样本的损失函数

b.各参数的梯度

$da=\frac{dL}{da}=-\frac{y}{a}+\frac{1-y}{1-a}$
$\frac{da}{dz}=a(1-a)$
$dz=\frac{dL}{dz}=\frac{dL}{da}\frac{da}{dz}=a-y$
$\frac{dz}{d{w}_1}=x_1,\frac{dz}{d{w}_2}=x_2,\frac{dz}{db}=1$
$d{w}_1=\frac{dL}{d{w}_1}=\frac{dL}{dz}\frac{dz}{d{w}_1}=x_1(a-y)$
$d{w}_2=\frac{dL}{d{w}_2}=\frac{dL}{dz}\frac{dz}{d{w}_2}=x_2(a-y)$
$db=\frac{dL}{db}=\frac{dL}{dz}\frac{dz}{db}=a-y$

（4）m个训练样本的logistic回归的一次梯度更新

5.矩阵化表示

6.逻辑回归的向量化形式

7.python中的广播机制

8.python中如何定义数组

9.损失函数的解释