吴恩达机器学习入门——Logistic 回归

吴恩达机器学习入门——Logistic 回归

  • 分类问题
  • 模型建立
  • 决策判断
  • 代价函数
  • 多元分类

分类问题

吴恩达机器学习入门——Logistic 回归_第1张图片
如上图的分类问题,如果用粉色的h θ \theta θ(x)函数,可以以0.5为判断值进行分类,区分出0和1,而当我们增加一个新的样本(ps:最右边的那个红色×)并用蓝色的h θ \theta θ(x)来判断会出错。
这样我们得到一个结论,用线性回归用于分类问题效果不好,而且线性回归的值不会都是0和1。这就引出了Logistic 回归用于分类问题,虽然叫logistic回归,它其实与回归关系不大。
吴恩达机器学习入门——Logistic 回归_第2张图片

模型建立

吴恩达机器学习入门——Logistic 回归_第3张图片
这个模型使得h θ \theta θ(x)值都在0到1范围内,另外h θ \theta θ(x)的输出即y =1的概率即 h θ \theta θ(x)= P(y=1|x; θ \theta θ)。

决策判断

吴恩达机器学习入门——Logistic 回归_第4张图片
当h θ \theta θ(x)大于等于0.5,y=1;h θ \theta θ(x)<0.5,y=0。
或者通过z= θ \theta θTx大于等于或者小于0来判断。

代价函数

吴恩达机器学习入门——Logistic 回归_第5张图片
如图所示,我们借鉴线性回归的代价函数,得到了Cost函数,但是得到的J( θ \theta θ)是一个非凸函数,有很多局部最优值,即左边的图所示。这是由于Cost函数中的h θ \theta θ(x)是一个非线性的函数。而我们希望得到的代价函数应该是像右图一样的凸函数。
因此,引入下面的代价函数。
吴恩达机器学习入门——Logistic 回归_第6张图片
由坐标图可知:如果y=1,h θ \theta θ(x)=1,则代价函数为0
如果y=1,h θ \theta θ(x)=0,而代价函数为无穷。
这样的代价函数满足J( θ \theta θ)为凸函数。经过化简代价函数如下图所示:吴恩达机器学习入门——Logistic 回归_第7张图片
如何找出使代价函数取最小值的 θ \theta θ,同样我们可以用梯度下降算法。
吴恩达机器学习入门——Logistic 回归_第8张图片
该算法和线性回归的不同点在于h θ \theta θ(x)的值不同。另外特征缩放也可以适用。
除了梯度下降算法可以求最优值,还有很多高级优化算法。

多元分类

之前,我们提到的分类问题一般都是分成正、负两类,即0和1。而现实生活中的分类问题可以多个种类。因此就提出了多分类器的用法。
吴恩达机器学习入门——Logistic 回归_第9张图片
像上图,有三种类别,我们使用不同的h(i) θ \theta θ(x)来进行分类。这样的h θ \theta θ(x)也称为逻辑回归分类器。当有一个输入x时,我们计算出每一个h(i) θ \theta θ(x),每个h(i) θ \theta θ(x)代表是该类的概率,最大的概率对应的i就是输出的类别。

你可能感兴趣的:(吴恩达机器学习入门——Logistic 回归)