机器学习——Logistic回归综合分析

---

逻辑回归概述

    逻辑回归不同于线性回归，逻辑回归分析的值是离散的，同时逻辑回归算法所要预测的值也是离散的。

分类问题

    分类问题的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。其本质是计算出一个函数，这个函数就是两个样本类之间的界限，通过这个函数来完成新样本的预测。（这有点像高中数学求函数取值范围的问题）

分类假设

sigmoid函数

预设函数

说明：这里使用sigmoid函数的主要原因是他可以将预测的数据转换成0和1，即函数大于等于0.5时预测值为1，小于0.5时预测值为0。（它的函数图像如下）

代价函数

    由于预设函数只能取0和1，使得其函数图像（左）与线性回归代价函数图像（右）有了很大的差别，所以无法再使用原来的J（θ）进行梯度下降。

于是新的代价函数诞生了（下图的函数可以完美地表达损失的概念）

该函数的完整表达形式为

梯度下降

    使用了新的代价函数，接下来继续使用原来的梯度下降算法就可以了。（梯度下降算法如下图所示）

梯度：

注意：这里的hθ(x)是sigmoid函数代入后的，和线性回归的hθ(x)不一样的。

多元分类问题

    多元分类问题解决的核心就是将多分类划分成多个二分类问题。

---

总结

    分类问题是一类很有趣的问题，而逻辑回归算法在现实中应用地也非常广泛，比如垃圾邮件识别，手写数字识别，人脸识别，语音识别等，也期待自己在未来也能够设计出这样一个项目吧。