吴恩达 deep learning 神经网络基础

部分内容参考https://blog.csdn.net/Koala_Tree/article/details/78045596

二分类

输入x 是每个像素的RGB值，维数是64* 64 * 3
想要的输出是 y 0,1

m 样本的数量
n 表示特征的数量

logistic 回归

逻辑回归的预测值在[0,1]之间，表示为1的概率
所以需要引入Sigmod函数
$$\hat{y}=Sigmoid(w^{T}x+b)=\sigma (w^{T}x+b)$$

logistic 回归损失函数

逻辑回归Loss Function
$$L(\hat{y},y)=-(y\log \hat{y}+(1-y)\log (1-\hat{y}))$$
逻辑回归 Cost Function
$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m\left[y^{(i)}\log {\hat{y}}^{(i)}+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right]$$

梯度下降法

梯度下降是为了找到是的损失函数最小的w、b

计算图

计算图计算梯度

逻辑回归中的梯度下降

$$da=\frac{\partial L}{\partial a}=-\frac{y}{a}+\frac{1-y}{1-a}$$
$$dz=\frac{\partial L}{\partial z}=\frac{\partial L}{\partial a}\cdot \frac{\partial a}{\partial z}=(-\frac{y}{a}+\frac{1-y}{1-a})\cdot a(1-a)=a-y$$
$$d{w}_1=\frac{\partial L}{\partial w_1}=\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial w_1}=x_1\cdot dz=x_1(a-y)$$
$$db=\frac{\partial L}{\partial b}=\frac{\partial L}{\partial z}\cdot \frac{\partial z}{\partial b}=1\cdot dz=a-y$$

m个样本的梯度下降

向量化

深度学习中，应该避免使用for循环，而使用向量化，提高程序运行速度

a=np.random.rand(1000000)
b=np.random.rand(1000000)

%time c=np.dot(a,b)
Out：
Wall time: 1.01 ms

%%time
c=0
for i in range(1000000):
    c +=a[i]*b[i]
Out：
Wall time: 381 ms

向量化逻辑回归

提示：在numpy进行矩阵操作时，可以使用assert语句进行判断，已检查语句的正确性

logistic损失函数

$$\begin{gathered} \hat{y}=\sigma (w^{T}x+b) \\ \sigma (z)=\frac{1}{1+e^{-z}} \end{gathered}$$
$\hat{y}$可以看做y=1的概率
当y=1时 $P(y|x)=\hat{y}$
当y=0是 $P(y|x)=1-\hat{y}$
即 $P(y|x)={\hat{y}}^y(1-\hat{y}{)}^{(1-y)}$
$$\log P(y|x)=\log \left[{\hat{y}}^y(1-\hat{y}{)}^{(1-y)}\right]=y\log \hat{y}+(1-y)\log (1-\hat{y})$$