机器学习总结之——线性分类器与非线性分类器

机器学习总结之——线性分类器与非线性分类器

1、线性分类器

1.1线性分类器的定义

  线性分类器就是用一个“超平面”将正、负样本隔离开，如：
  （1）二维平面上的正、负样本用一条直线来进行分类；
  （2）三维立体空间内的正、负样本用一个平面来进行分类；
  （3）N维空间内的正负样本用一个超平面来进行分类。

1.2常见的线性分类器

  常见的线性分类器有：LR，贝叶斯分类，单层感知机、线性回归，SVM（线性核）等。

1.3线性分类器的优缺点

  线性分类器速度快、编程方便且便于理解，但是拟合能力低。

2、非线性分类器

2.1非线性分类器的定义

  非线性分类器就是用一个“超曲面”或者多个超平（曲）面的组合将正、负样本隔离开（即，不属于线性的分类器），如：
  （1）二维平面上的正、负样本用一条曲线或折线来进行分类；
  （2）三维立体空间内的正、负样本用一个曲面或者折面来进行分类；
  （3）N维空间内的正负样本用一个超曲面来进行分类。

2.2常见的非线性分类器

  常见的非线性分类器：决策树、RF、GBDT、多层感知机、SVM（高斯核）等。

2.3非线性分类器的优缺点

  非线性分类器拟合能力强但是编程实现较复杂，理解难度大。