一文带你了解机器学习算法

1. 常见的机器学习算法有哪些
   KNN算法、线性回归法、决策树算法、随机森林算法、PCA算法、SVM算法等等

2. 什么是机器学习
   简单的说，机器学习就是让机器从数据中学习，进而得到一个更加符合现实规律的模型，通过对模型的使用使得机器比以往表现的更好，这就是机器学习。
   对上面这句话的理解：
   数据：从现实生活抽象出来的一些事物或者规律的特征进行数字化得到。
   学习：在数据的基础上让机器重复执行一套特定的步骤（学习算法）进行事物特征的萃取，得到一个更加逼近于现实的描述（这个描述是一个模型它的本身可能就是一个函数）。我们把大概能够描述现实的这个函数称作我们学到的模型。
   更好：我们通过对模型的使用就能更好的解释世界，解决与模型相关的问题。

3. 解释有监督和无监督机器学习之间的区别？
   监督学习需要训练标记的数据。换句话说，监督学习使用了基本事实，这意味着我们对输出和样本已有知识。这里的目标是学习一个近似输入和输出之间关系的函数。
   另一方面，无监督学习不使用标记的输出。此处的目标是推断数据集中的自然结构。

4. KNN算法介绍
   邻近算法，或者说K最邻近（KNN，K-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的K个邻近值来代表。近邻算法就是将数据集合中每一个记录进行分类的方法 。
   k近邻法是一种基本的分类和回归方法，是监督学习方法里的一种常用方法。k近邻算法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例类别，通过多数表决等方式进行预测。
   k近邻法三要素：距离度量、k值的选择和分类决策规则。常用的距离度量是欧氏距离及更一般的pL距离。k值小时，k近邻模型更复杂，容易发生过拟合；k值大时，k近邻模型更简单，又容易欠拟合。因此k值得选择会对分类结果产生重大影响。k值的选择反映了对近似误差与估计误差之间的权衡，通常由交叉验证选择最优的k。
   优点
   简单，易于理解，易于实现，无需估计参数，无需训练；适合对稀有事件进行分类；
   特别适合于多分类问题(multi-modal,对象具有多个类别标签)， kNN比SVM的表现要好。
   缺点
   该算法在分类时有个主要的不足是，当样本不平衡时，如一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数 。
   该方法的另一个不足之处是计算量较大，因为对每一个待分类的文本都要计算它到全体已知样本的距离，才能求得它的K个最近邻点 。

5. 线性回归法介绍
   线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式。
   特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归
   线性回归当中主要有两种模型，一种是线性关系，另一种是非线性关系。

6. PCA算法介绍
   PCA（principal components analysis）即主成分分析技术，又称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。
   PCA算法优点：
   1、使得数据集更易使用；
   2、降低算法的计算开销；
   3、去除噪声；
   4、使得结果容易理解；
   5、完全无参数限制。
   PCA算法缺点：
   1、主成分解释其含义往往具有一定的模糊性，不如原始样本完整
   2、贡献率小的主成分往往可能含有对样本差异的重要信息，也就是可能对于区分样本的类别（标签）更有用
   3、特征值矩阵的正交向量空间是否唯一有待讨论
   4、无监督学习
   PCA算法求解步骤：
   去除平均值
   计算协方差矩阵
   计算协方差矩阵的特征值和特征向量
   将特征值排序
   保留前N个最大的特征值对应的特征向量
   将原始特征转换到上面得到的N个特征向量构建的新空间中（最后两步，实现了特征压缩）
   PCA是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于识别和提取数据的主要特征分量，通过将数据坐标轴旋转到数据角度上那些最重要的方向（方差最大）；然后通过特征值分析，确定出需要保留的主成分个数，舍弃其他非主成分，从而实现数据的降维。降维使数据变得更加简单高效，从而实现提升数据处理速度的目的，节省大量的时间和成本。降维也成为了应用非常广泛的数据预处理方法。PCA算法已经被广泛的应用于高维数据集的探索与可视化，还可以用于数据压缩，数据预处理，图像，语音，通信的分析处理等领域。

7. 支持向量机-SVM介绍
   SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。它在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他其他问题中。
   支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类（binary classification）的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane)。
   SVM的主要特点：
   SVM主要思想是针对两类分类问题，在高维空间中寻找一个超平面作为两类的分割，以保证最小的分类错误率。
   SVM考虑寻找一个满足分类要求的超平面，并且使训练集中的点距离分类面尽可能的远，即寻找一个分类面使它两侧的空白区域(margin)最大。
   过两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就叫做支持向量。
   最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0)，且使分类间隔最大。

8. 随机森林算法介绍
   随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。
   随机森林的优点有 ：
   1）对于很多种资料，它可以产生高准确度的分类器；
   2）它可以处理大量的输入变数；
   3）它可以在决定类别时，评估变数的重要性；
   4）在建造森林时，它可以在内部对于一般化后的误差产生不偏差的估计；
   5）它包含一个好方法可以估计遗失的资料，如果有很大一部分的资料遗失，仍可以维持准确度；
   6）学习过程是很快速的。
   算法过程
   1、一个样本容量为N的样本，有放回的抽取N次，每次抽取1个，最终形成了N个样本。这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本。
   2、当每个样本有M个属性时，在决策树的每个节点需要分裂时，随机从这M个属性中选取出m个属性，满足条件m << M。然后从这m个属性中采用某种策略（比如说信息增益）来选择1个属性作为该节点的分裂属性。
   3、决策树形成过程中每个节点都要按照步骤2来分裂（很容易理解，如果下一次该节点选出来的那一个属性是刚刚其父节点分裂时用过的属性，则该节点已经达到了叶子节点，无须继续分裂了），一直到不能够再分裂为止。注意整个决策树形成过程中没有进行剪枝。
   4、按照步骤1~3建立大量的决策树，这样就构成了随机森林了。

数据的随机选取
首先，从原始的数据集中采取有放回的抽样，构造子数据集，子数据集的数据量是和原始数据集相同的。不同子数据集的元素可以重复，同一个子数据集中的元素也可以重复。第二，利用子数据集来构建子决策树，将这个数据放到每个子决策树中，每个子决策树输出一个结果。最后，如果有了新的数据需要通过随机森林得到分类结果，就可以通过对子决策树的判断结果的投票，得到随机森林的输出结果了。
待选特征的随机选取
与数据集的随机选取类似，随机森林中的子树的每一个分裂过程并未用到所有的待选特征，而是从所有的待选特征中随机选取一定的特征，之后再在随机选取的特征中选取最优的特征。这样能够使得随机森林中的决策树都能够彼此不同，提升系统的多样性，从而提升分类性能。