机器学习算法基础：分类模型概念总结与归纳

线性分类的总结

1. 硬分类，我们直接需要输出观测对应的分类，例如二分类输出就是$\{-1,1\}$，给不了类别的对应概率值，只能给出类别的模型。这类模型的代表为：

   1. 感知机
   2. 线性判别分析（Fisher 判别）

2. 软分类，可以产生不同类别的概率，这类算法根据概率方法的不同分为两种

   1. 生成式（根据贝叶斯定理先计算参数后验，再进行推断）：高斯判别分析（GDA）和朴素贝叶斯等为代表
   2. 判别式（直接对条件概率进行建模）：Logistic 回归

分类模型的归纳总结

1. 判别模型（由数据直接学习决策函数$f(X)$或条件概率分布$f(Y|X)$作为预测的模型）：k近邻法、感知机、决策树、逻辑思谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

2. 生成模型（由数据学习联合概率分布$P(X,Y)$，然后求出条件概率分布$P(Y|X)$作为预测模型，通俗来说根据贝叶斯定理根据参数的先验概率计算参数后验概率，再进行推断）：高斯判别分析（GDA）、朴素贝叶斯法和隐马尔科夫模型等。

$$P(Y|X)=\frac{P(X,Y)}{P(X)}=\frac{P(X|Y)P(Y)}{P(X)}$$