机器学习之算法总结

传统的机器学习算法包括决策树、聚类、贝叶斯分类、支持向量机、EM、Adaboost等等。这篇文章将对常用算法做常识性的介绍，没有代码，也没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的。

人工智能领域知识面广泛，推荐专注于人工智能在线教育的平台—深蓝学院。深蓝学院由中科院自动化所毕业博士团队创建，虽成立半年，但在业界已颇具口碑。

1.机器学习算法:

1.1 问题分类:

    根据问题本身的特征来分类，机器学习问题可分为监督学习、无监督学习、半监督学习和强化学习。

    监督学习（Supervised Learning）的特点是训练数据是有标签的，即对于每个输入都有相对应的输出，算法的目的是训练出能反应输入与输出之间的映射关系的模型。对于输出值是离散的（有限个数），称之为分类问题（Classification Problem）；对于输出值是连续的，则称之为回归问题（Regression Problem）

    相对应的，无监督学习（Unsupervised Learning）的训练数据是没有标签的，即没有确定的输出值，就需要根据数据提取特征，这类问题的算法包括关联规则和聚类算法等。

    半监督学习（Semi-supervisedLearning）是介于监督学习和非监督学习之间，即数据一部分有标签，一部分没有标签，算法一半是需要考虑利用少量的标注样本和大量的非标注样本来完成训练、回归或分类。常用算法包括自训练（Self-training）、直推学习（ TransductiveLearning）、生成式模型（GenerativeModel）。

    除此了上述的三类之外，还有强化学习（Reinforcement Learning）这一新兴的分类。强化学习是从环境状态到行为映射的学习，通过反复与环境交互来改进策略，以使系统行为从环境中获得的累积奖赏值最大。强化学习现主要应用于智能控制及分析预测等领域。强化学习可以动态地调整参数，与监督学习的区别在于产生的动作和获得的奖赏没有明确的函数形式表示，只能采用试探的方式进行，如果某一动作获得的奖赏为正，则以后产生这一动作的趋势会增加，反之则会减弱。

1.2 算法分类

    现在机器学习的算法较多， 按照功能分类太大体可分为回归（Regression）、分类（Classification）、聚类（Cluster）、维度约减（Dimensionality Reduction）四个类别。其中回归和分类问题虽然在定义上有区别（连续和离散），但在本质上是一样的，算法是可以通用的，因此把二者涉及的算法归在一起。具体划分情况为：

（1）回归和分类

    线性回归（LinearRegression）：拟合自变量和因变量线性关系的统计分析方法，常用最小二乘法来求解参数。

    多项式回归（Polynomial Regression）：自变量次数大于1，但具体的次数选择往往要依靠经验，次数太高容易过拟合。

    朴素贝叶斯（NativeBayes，NB）：由贝叶斯公式得到的分类器，通过计算后验概率来分类。

    逻辑斯蒂回归（LogisticRegression）：在线性回归的基础上应用逻辑函数，函数值位于0到1之间，二值分类以0.5为界限。

    支持向量机（SupportVector Machine，SVM）：在较长一段时间被誉为二值分类问题最佳的模型。通过核函数映射，将低维线性不可分的数据集映射到高维，使其线性可分，并使分类界面间隔最大。算法求解过程用到了二次规划、拉格朗日乘子法、KKT条件、对偶问题、SMO算法等。SVM算法善于处理小样本问题。

    K近邻（K-Nearest Neighbors，KNN）：基于实例的算法，通过距离公式来寻找相似样本来做回归预测，依赖于样本数据的质和量，算法很成熟但计算量较大，因此后来又提出了KD树的方法。

    决策树（Decision Trees，DT）：直观运用概率的图解方法，按特征来生成决策树，使目标期望达到最大，实际使用过程特征选择方式和决策树的修剪是关键。

决策树算法包括迭代二叉树（IterativeDichotomiser 3，ID3）、C4.5和CART（ClassificationAnd Regression Tree）等衍生算法。

    神经网络（NeuralNetwork，NN）：模仿人类大脑的神经突触结构，从而完成信息的传递处理，是目前最流行的机器学习算法之一。

    神经网络按照隐层数的多少可分为浅层学习和深层学习，浅层学习包括感知器（Perceptron）、多层感知器（Multi-LayerPerceptron，MLP）、反馈神经网络（BackPropagation Neural Network，BP-NN）、径向基函数神经网络（RadialBasis Function Neural Network，RBF-NN）、极限学习机（ExtremeLearning Machine，ELM）等，深层学习包括深度置信网络（DeepBelief Nets，DBN）、循环神经网络（RecurrentNeural Network，RNN）、卷积神经网络（ConvolutionalNeural Network，CNN）等等。

    在实际使用过程中，往往还使用模型融合算法(Ensemble Algorithms)，这类的算法包括：

    Bagging（Bootstrap aggregation）：每次从样本集随机采样来训练弱分类器，重复多次，最后用投票的方式（分类）或求均值（回归）得到最后结果。

    随机森林（RandomForest）：随机构造很多的CART（由树组成森林），模型关键参数是树个数目和树节点输入特征的个数（总特征树的子集，随机选取），通过综合决策树的结果得到分类结果。

    自适应提升方法（AdaptiveBoosting）：采用赋权的方式，先设置初始权重，然后每个弱分类器训练完根据效果改变权重，训练失败的样本增加权重，最后综合多个弱分类器的结果得到强分类器。

（2）聚类

    在部分学者的观点来看，数据挖掘的核心就是聚类，聚类问题是典型的无监督学习，按一定的规则将类似的样本进行组合的方式。大量数据可先通过聚类划分不同的类别，然后再进行其他机器学习的处理。     常用的聚类算法包括：

    K均值聚类（K-Means Cluster）：随机选择K个样本作为类别中心，根据离中心的聚类确定各个样本的归属，然后通过迭代的方式不断更新类别中心，直至不变。K值大小的选取很关键。

    层次聚类法（HierarchicalCluster）：由起初的所有样本各自归为一类，根据样本间的聚类合并类并重新计算样本中心，迭代进行直至中心间距离大于限定阈值或达到限定的类别个数。每次迭代要计算两两间距，计算量较大。

    期望最大算法（ExpectationMaximization ，EM）：迭代分成E步和M步，用于含有隐变量（HiddenVariable）的概率模型参数的极大后验概率估计。典型的应用是高斯混合模型（GaussianMixture Model，GMM），随机选择初始中心，按所属各个分布的概率大小进行分类。

（3）维度约减

    维度约减，即降维，是特征提前的过程，对于特征数特别多的数据集往往需要提取主要的特征，剔除次要特征，将数据集由高维映射到低维。主要的算法包括：

    主成分分析（PrincipalComponent Analysis，PCA）：数学基础是特征值分析，根据协方差矩阵求特征值和特征向量，按特征值大小依次选择特征向量构成特征矩阵。主成分分析得先做数据中心化。

    奇异值分解（SingularValue Decomposition，SVD）：将原始矩阵X分解成三个矩阵相乘，前后是正交非方阵，中间的是XTX的特征值平方根构成的对角阵，然后也是按特征值大小来选取特征。SVD其实算是PCA的一种处理方法。

    偏最小二乘法（partialleast squares method，PLS）：偏最小二乘是多种方法的结合，包括多元线性回归、典型相关分析和主成份分析。在主成份分析中所选取的变量都是独立的，在特征之间的相关性较大的时候容易漏掉关键特征，而偏最小二乘可以避免这个问题。

1.3 学习策略
（1）批量学习（BatchLearning）

（a） 样本全部同时进入模型；

（b）梯度下降的方法容易陷入局部最优；

（c） 学习并行性，速度快，但耗费存储量大。

（2）在线学习（Online Learning）

（a）样本按顺序进入模型，不断修正模型参数；

（b）随机性强，不容易陷入局部最优；

（c）学习串行性，需要依次迭代速度慢，但耗费存储量小。


 

2.具体介绍:

决策树

根据一些 feature（特征） 进行分类，每个节点提一个问题，通过判断，将数据分为两类，再继续提问。这些问题是根据已有数据学习出来的，再投入新数据的时候，就可以根据这棵树上的问题，将数据划分到合适的叶子上。

图2 决策树原理示意图

随机森林

在源数据中随机选取数据，组成几个子集：

图3-1 随机森林原理示意图

S矩阵是源数据，有1-N条数据，A、B、C 是feature，最后一列C是类别：

由S随机生成M个子矩阵：

这M个子集得到 M 个决策树：将新数据投入到这M个树中，得到M个分类结果，计数看预测成哪一类的数目最多，就将此类别作为最后的预测结果。

图3-2 随机森林效果展示图

逻辑回归

当预测目标是概率这样的，值域需要满足大于等于0，小于等于1的，这个时候单纯的线性模型是做不到的，因为在定义域不在某个范围之内时，值域也超出了规定区间。

图4-1 线性模型图

所以此时需要这样的形状的模型会比较好：

图4-2

那么怎么得到这样的模型呢？

这个模型需要满足两个条件 “大于等于0”，“小于等于1” 。大于等于0 的模型可以选择绝对值，平方值，这里用指数函数，一定大于0；小于等于1 用除法，分子是自己，分母是自身加上1，那一定是小于1的了。

图4-3

再做一下变形，就得到了 logistic regressions 模型：

图4-4

通过源数据计算可以得到相应的系数了：

图4-5

图4-6 LR模型曲线图

支持向量机

要将两类分开，想要得到一个超平面，最优的超平面是到两类的 margin 达到最大，margin就是超平面与离它最近一点的距离，如下图，Z2>Z1，所以绿色的超平面比较好。

图5 分类问题示意图

将这个超平面表示成一个线性方程，在线上方的一类，都大于等于1，另一类小于等于－1：

点到面的距离根据图中的公式计算：

所以得到total margin的表达式如下，目标是最大化这个margin，就需要最小化分母，于是变成了一个优化问题：

举个例子，三个点，找到最优的超平面，定义了 weight vector＝（2，3）－（1，1）：

得到weight vector为（a，2a），将两个点代入方程，代入（2，3）另其值＝1，代入（1，1）另其值＝-1，求解出 a 和 截矩 w0 的值，进而得到超平面的表达式。

a求出来后，代入（a，2a）得到的就是support vector，a和w0代入超平面的方程就是support vector machine。

朴素贝叶斯

举个在 NLP 的应用：给一段文字，返回情感分类，这段文字的态度是positive，还是negative：

图6-1 问题案例

为了解决这个问题，可以只看其中的一些单词：

这段文字，将仅由一些单词和它们的计数代表：

原始问题是：给你一句话，它属于哪一类 ？通过bayes rules变成一个比较简单容易求得的问题：

问题变成，这一类中这句话出现的概率是多少，当然，别忘了公式里的另外两个概率。例子：单词“love”在positive的情况下出现的概率是 0.1，在negative的情况下出现的概率是0.001。

图6-2 NB算法结果展示图

K近邻算法

给一个新的数据时，离它最近的 k 个点中，哪个类别多，这个数据就属于哪一类。

例子：要区分“猫”和“狗”，通过“claws”和“sound”两个feature来判断的话，圆形和三角形是已知分类的了，那么这个“star”代表的是哪一类呢？

图7-1 问题案例

k＝3时，这三条线链接的点就是最近的三个点，那么圆形多一些，所以这个star就是属于猫。

图7-2 算法步骤展示图

K均值算法

先要将一组数据，分为三类，粉色数值大，黄色数值小 。最开始先初始化，这里面选了最简单的 3，2，1 作为各类的初始值 。剩下的数据里，每个都与三个初始值计算距离，然后归类到离它最近的初始值所在类别。

图8-1 问题案例

分好类后，计算每一类的平均值，作为新一轮的中心点：

图8-2

几轮之后，分组不再变化了，就可以停止了：

图8-3 算法结果展示

Adaboost

Adaboost 是 Boosting 的方法之一。Boosting就是把若干个分类效果并不好的分类器综合起来考虑，会得到一个效果比较好的分类器。

下图，左右两个决策树，单个看是效果不怎么好的，但是把同样的数据投入进去，把两个结果加起来考虑，就会增加可信度。

图9-1 算法原理展示

Adaboost 的例子，手写识别中，在画板上可以抓取到很多features（特征），例如始点的方向，始点和终点的距离等等。

图9-2

training的时候，会得到每个feature的weight（权重），例如2和3的开头部分很像，这个feature对分类起到的作用很小，它的权重也就会较小。

图9-3

而这个alpha角就具有很强的识别性，这个feature的权重就会较大，最后的预测结果是综合考虑这些feature的结果。

图9-4

神经网络

Neural Networks适合一个input可能落入至少两个类别里：NN由若干层神经元，和它们之间的联系组成。 第一层是input层，最后一层是output层。在hidden层和output层都有自己的classifier。

图10-1 神经网络结构

input输入到网络中，被激活，计算的分数被传递到下一层，激活后面的神经层，最后output层的节点上的分数代表属于各类的分数，下图例子得到分类结果为class 1；同样的input被传输到不同的节点上，之所以会得到不同的结果是因为各自节点有不同的weights 和bias，这也就是forward propagation。

图10-2 算法结果展示

马尔科夫

Markov Chains由state（状态）和transitions（转移）组成。例子，根据这一句话 ‘the quick brown fox jumps over the lazy dog’，要得到markov chains。

步骤，先给每一个单词设定成一个状态，然后计算状态间转换的概率。

图11-1 马尔科夫原理图

这是一句话计算出来的概率，当你用大量文本去做统计的时候，会得到更大的状态转移矩阵，例如the后面可以连接的单词，及相应的概率。

图11-2 算法结果展示

上述十大类机器学习算法是人工智能发展的践行者，即使在当下，依然在数据挖掘以及小样本的人工智能问题中被广泛使用。

本文为转载文章,原文请参考:

原文：https://blog.csdn.net/baidu_35231778/article/details/52221400 ;

原文:    https://blog.csdn.net/jrunw/article/details/79205322