吴恩达机器学习入门——Logistic 回归

分类问题

如上图的分类问题，如果用粉色的h_$\theta$(x)函数,可以以0.5为判断值进行分类，区分出0和1，而当我们增加一个新的样本（ps：最右边的那个红色×）并用蓝色的h_$\theta$(x)来判断会出错。
这样我们得到一个结论，用线性回归用于分类问题效果不好，而且线性回归的值不会都是0和1。这就引出了Logistic 回归用于分类问题，虽然叫logistic回归，它其实与回归关系不大。

模型建立

这个模型使得h_$\theta$(x)值都在0到1范围内，另外h_$\theta$(x)的输出即y =1的概率即 h_$\theta$(x)= P（y=1|x；$\theta$）。

决策判断

当h_$\theta$(x)大于等于0.5，y=1；h_$\theta$(x)<0.5，y=0。
或者通过z=$\theta$^Tx大于等于或者小于0来判断。

代价函数

如图所示，我们借鉴线性回归的代价函数，得到了Cost函数，但是得到的J（$\theta$）是一个非凸函数，有很多局部最优值，即左边的图所示。这是由于Cost函数中的h_$\theta$(x)是一个非线性的函数。而我们希望得到的代价函数应该是像右图一样的凸函数。
因此，引入下面的代价函数。

由坐标图可知：如果y=1，h_$\theta$(x)=1，则代价函数为0
如果y=1，h_$\theta$(x)=0，而代价函数为无穷。
这样的代价函数满足J（$\theta$）为凸函数。经过化简代价函数如下图所示：
如何找出使代价函数取最小值的$\theta$，同样我们可以用梯度下降算法。

该算法和线性回归的不同点在于h_$\theta$(x)的值不同。另外特征缩放也可以适用。
除了梯度下降算法可以求最优值，还有很多高级优化算法。

多元分类

之前，我们提到的分类问题一般都是分成正、负两类，即0和1。而现实生活中的分类问题可以多个种类。因此就提出了多分类器的用法。

像上图，有三种类别，我们使用不同的h^（i）_$\theta$(x)来进行分类。这样的h_$\theta$(x)也称为逻辑回归分类器。当有一个输入x时，我们计算出每一个h^（i）_$\theta$(x)，每个h^（i）_$\theta$(x)代表是该类的概率，最大的概率对应的i就是输出的类别。