从线性回归到线性分类

线性回归在统计机器学习中占据了核心地位,最基础的模型。

线性回归有三个特点,打破线性回归的一个或几个特点,就形成了统计机器学习中的众多模型。三个特点如下:

1. 线性:

     1.1关于特征x是线性的,

     1.2关于参数w是线性的。

     1.3从全局看线性组合之后直接输出了结果,没有任何处理。

2. 全局性:对所有的特征空间拟合,不是将特征分段拟合。

3. 数据为加工 :没有降维等。

 

打破1.1,就有特征转换,比如多项式回归

打破1.2,就有了神经网络

打破1.3,就有了线性分类,比如加激活函数等。

打破2,就有了决策树,对特征空间进行划分,最后划分成很多小区域。

打破3,就有了PCA,流形学习等。

 

 

下面谈谈打破1.3,从线性回归到线性分类

一般有两种方法,激活函数和降维。线性分类有硬分类和软分类,硬分类就是将数据映射到{0,1},软分类就是将数据映射到[0,1]。硬分类的代表有感知机和线性判别分析。软分类有两种,一种是生成式模型,比如高斯判别分析和朴素贝叶斯;一种是判别式模型,比如经典的逻辑回归。

 

 

 

你可能感兴趣的:(机器学习,机器学习)