监督学习分类

监督学习分为几大类：判别模型VS生成模型，概率模型VS非概率模型，参数模型VS非参数模型；经典机器学习模型：线性回归模型，逻辑回归模型，SVM,LDA,聚类，决策树，CRF,Markov Chain,NB

1.判别模型VS生成模型

• 判别模型

直接对条件概率分布P(y|x)进行建模或者对输入空间到输出空间的映射h(x)做预测

常见模型：最大熵模型，逻辑回归，条件随机场，支持向量机，k近邻，神经网络

• 生成模型

先对联合概率分布P(y,x)进行建模，然后利用贝叶斯公式再得出条件概率分布P(y|x)

常见模型：朴素贝叶斯，贝叶斯网，pLSA，LDA，隐马尔可夫模型

2.概率模型VS非概率模型

• 非概率模型

直接对输入空间到输出空间的映射h(x)做预测，学习策略经验误差最小化ERM 

常见模型：SVM,KNN,决策树，

• 概率模型

对条件概率P(y|x)进行预测，常用的参数估计极大似然估计MLE和极大后验概率估计(MAP)

常见模型：最大熵模型，逻辑回归模型，GMM,NB，CRF，隐马尔可夫模型，pLSA，LDA

3.参数模型VS非参数模型

参数指数据分布的参数，任何一个模型的建立都基于一定的假设。

• 参数模型

对数据分布有假设

常见模型：GMM,线性回归，HMM

• 非参数模型

对数据分布假设自由

常见模型：SVM,决策树，KNN