从线性回归到线性分类

线性回归在统计机器学习中占据了核心地位，最基础的模型。

线性回归有三个特点，打破线性回归的一个或几个特点，就形成了统计机器学习中的众多模型。三个特点如下：

1. 线性：

     1.1关于特征x是线性的，

     1.2关于参数w是线性的。

     1.3从全局看线性组合之后直接输出了结果，没有任何处理。

2. 全局性：对所有的特征空间拟合，不是将特征分段拟合。

3. 数据为加工 ：没有降维等。

 

打破1.1，就有特征转换，比如多项式回归

打破1.2，就有了神经网络

打破1.3，就有了线性分类，比如加激活函数等。

打破2，就有了决策树，对特征空间进行划分，最后划分成很多小区域。

打破3，就有了PCA，流形学习等。

 

 

下面谈谈打破1.3，从线性回归到线性分类

一般有两种方法，激活函数和降维。线性分类有硬分类和软分类，硬分类就是将数据映射到{0,1}，软分类就是将数据映射到[0,1]。硬分类的代表有感知机和线性判别分析。软分类有两种，一种是生成式模型，比如高斯判别分析和朴素贝叶斯；一种是判别式模型，比如经典的逻辑回归。