常见的机器学习分类模型

Spark mllib包含的分类模型有：逻辑回归，决策树，随机森林，梯度提升树，多层感知机，线性SVM，朴素贝叶斯。

回归模型有：线性回归，决策树回归，随机森林回归，梯度提升树回归，生存回归，保序回归。

在spark mllib库外，还有一个比较常见的模型：KNN。

 

决策树==================

非线性分类模型

https://blog.csdn.net/tuntunwang/article/details/50587518

 

梯度提升树=================

梯度提升树（GBTs）包含两类：梯度提升决策树（GBDT）和梯度提升回归树（GBRT）。

传统的boost算法：初始所有样本的权重都是一致的，后续不断增加“被分错”样本的权重，降低分对样本的权重。例如adaboost集成学习算法

https://blog.csdn.net/weixin_40118768/article/details/80411482

 

GBTs：学习上一步分类的残差。

下面是一个预测年龄的例子：

 

 

构架树时，深度为1时通常效果很好（深度为1的决策树称为决策桩decision stumps）。

 

多层感知机MLP================

全连接的神经网络，除了输入层，其他层的激活函数都SIGMOD函数，采用BP算法学习权值：输出向后传递，误差向前传递。

 

SVM==========================

假设存在一个超平面，能够将所有样本进行隔开。

https://blog.csdn.net/tuntunwang/article/details/73826556

 

朴素贝叶斯====================

最为广泛的两种分类模型是决策树模型(Decision Tree Model)和朴素贝叶斯模型（Naive Bayesian Model，NBM）。和决策树模型相比，朴素贝叶斯分类器(Naive Bayes Classifier,或 NBC)发源于古典数学理论，有着坚实的数学基础，以及稳定的分类效率。

https://blog.csdn.net/tuntunwang/article/details/50587462

 

逻辑回归 线性回归=========================

逻辑回归：y=sigmoid(wx)函数，根据某个概率阈值划分类别。

线性回归：y=wx

https://blog.csdn.net/tuntunwang/article/details/74012106

 

KNN=====================================

最近的K个样本进行投票

https://blog.csdn.net/tuntunwang/article/details/50587404