四种线性分类模型

记录第三章的碎碎念。

1 回归和分类的区别

首先来阐述一下分类和回归的区别！
（1）分类：是给定一组数据，通过训练集得到它所对应的类别，是对离散变量的预测。
（2）回归：给定一组连续的数据，得到输出值，是对连续变量的预测。
通过一个例子来理解，特征是房屋面积，朝向，层数，输出值为房屋价格，有一组新的面积朝向层数是已知数据中没有的，就要通过回归函数去预测。而如果特征是面积，价格层数，输出值为朝向（东，南，西，北），则变成了一个分类任务。

2 四种线性分类模型

这些模型的主要区别时使用了不同的损失函数。

2.1 logistic模型（二分类）

2.1.1 logistic模型原理

逻辑回归（也叫对数几率回归）其实就是用来解决一个二元分类问题。虽然有回归二字，但人家是一个分类模型而不是一个回归模型！！！
人家名字里面有“回归”二字，所以也不是白叫的，当然与回归模型有联系。
首先给出线性回归模型：

同时“广义线性回归”模型为：

注意，其中g(~)是单调可微函数。
下面我们便从线性回归的回归模型引出logistic回归的分类模型！！！

我们知道上诉线性回归模型只能够进行回归学习，但是若要是做分类任务如何做！答案便是在“广义线性回归”模型中：只需找一个单调可微函数将分类任务的真实标记y与线性回归模型的预测值联系起来便可以了！
此时便引入Sigmoid函数：

它长这样

这样我们在原来的线性回归模型外套上sigmoid函数便形成了logistic回归模型的预测函数，可以用于二分类问题：
综上：逻辑回归=线性回归+sigmoid函数

2.1.2 怎么求参数

在上一个话题中我们已经得到了logistic回归的预测函数：



加m是为了方便计算。最后使用梯度下降法或牛顿法求得参数。

2.2 softmax模型（多分类）

softmax回归是为了解决多分类问题，是逻辑回归的推广。

2.2.1 softmax模型定义

2.2.2 怎么求softmax参数

同逻辑回归，求出损失（代价）函数，再使用梯度下降法求得参数。

2.3 感知器

https://blog.csdn.net/lee18254290736/article/details/82143581?biz_id=102&utm_term=%E6%84%9F%E7%9F%A5%E5%99%A8&utm_medium=distribute.pc_search_result.none-task-blog-2_allsobaiduweb~default-0-82143581&spm=1018.2118.3001.4187
感知器是一个二分类模型。感知器定义如下：



感知器的算法学习

2.4 支持向量机

未完待续。。。。