吴恩达深度学习课程笔记——逻辑回归算法

神经网络的计算中通常会有前向传播和反向传播的步骤，这门课从逻辑回归算法（ logistic regression）来讲解这些概念。

二分类问题(Binary Classification)

逻辑回归是一个用于二分类(binary classification)的算法：假如你有一张图片作为输入，比如猫，如果识别这张图片为猫，则输出标签1作为结果；如果识别出不是猫，那么输出标签0作为结果。

$x$：表示一个$n_x$维数据，为输入数据，维度为$(n_x,1)$；
$y$：表示输出结果，取值为$(0,1)$；
$(x^{(i)},y^{(i)})$：表示第$i$组数据，可能是训练数据，也可能是测试数据，此处默认为训练数据；
$X=[x^{(1)},x^{(2)},...,x^{(m)}]$：表示所有的训练数据集的输入值，放在一个 $n_x\times m$的矩阵中，其中$m$表示样本数目，Python表示为X.shape=$(n_x,m)$；
$Y=[y^{(1)},y^{(2)},...,y^{(m)}]$：对应表示所有训练数据集的输出值，维度为$1\times m$，Python表示为Y.shape=$(1,m)$。

假设函数(Hypothesis Function)

对于二分类问题来讲，给定一个输入特征向量$X$，它可能对应一张图片，你想识别这张图片识别看它是否是一只猫或者不是一只猫的图片，算法需要输出预测$\hat{y}$，也就是对实际值 $y$ 的估计，范围是0~1。

用$w$来表示逻辑回归的参数，也是一个$n_x$维向量（因为$w$实际上是特征权重，维度与特征向量相同），参数里面还有$b$，这是一个实数（表示偏差)，逻辑回归训练的目的就是通过找到合适的$w$和$b$使得$\hat{y}=y$的概率更接近1。

sigmoid函数可以把线性函数转换为非线性函数，$\sigma \left(z\right)=\frac{1}{1+e^{-z}}$
逻辑回归的输出函数可以用下列公式$\hat{y}=\sigma \left(w^{T}x+b\right)$表示。

损失函数和代价函数(Loss Function and Cost Function)

损失函数又叫做误差函数，用来衡量算法的运行情况，Loss function:$L\left(\hat{y},y\right)$，在逻辑回归中用到的损失函数是：$L\left(\hat{y},y\right)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$。

当$y=1$时损失函数$L=-\log (\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能大，因为sigmoid函数取值$[0,1]$，所以$\hat{y}$会无限接近于1。
当$y=0$时损失函数$L=-\log (1-\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能小，因为sigmoid函数取值$[0,1]$，所以$\hat{y}$会无限接近于0。

损失函数是在单个训练样本中定义的，为了衡量算法在全部训练样本上的表现如何，需要定义算法的代价函数
$J\left(w,b\right)=\frac{1}{m}\sum _{i=1}^{m}L\left({\hat{y}}^{(i)},y^{(i)}\right)=\frac{1}{m}\sum _{i=1}^m\left(-y^{(i)}\log {\hat{y}}^{(i)}-(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right)$