手势识别用到的——机器学习算法：分类

机器学习方法

机器学习方法

机器学习算法又很多，比如分类、回归、聚类、推荐、图像识别领域等，具体算法比如线性回归、逻辑回归、朴素贝叶斯、随机森林、支持向量机、神经网络等等。
机器学习算法的分类：

分类是预测一个标签，是离散的，属于监督学习；
回归是预测数量的，是连续的，属于监督学习；
聚类属于无监督学习；
考虑到手势识别设计中，应该会用到其中的分类算法给得到的数据进行标注，再根据标注进行分类，分出来手势的不同。对于分类，输入的训练数据包含信息有特征，也称为属性，有标签,也常称之为类别。
所谓的学习，其本质就是找到特征与标签之间的关系（映射）所以说分类预测模型是求取一个从输入变量 (特征) 到离散的输出变量（标签） 之间的映射函数。
这样当有特征而无标签的未知数据输入时（比如在手势输入时 在进行训练模式时），可以通过映射函数预测未知数据的标签（判别），简单地说，分类就是按照某种标准给对象贴标签，再根据标签来区分归类。类别是事先定义好的。

机器学习分类算法：

logistic回归

可以进行二元分类，也可以解决多元分类。

最小二乘回归

分类树：

决策树Decision Tree 可分为分类树与回归树。分类树使用信息增益或信息增益比率来划分节点，每个节点样本的类别情况投票（voting）决定测试样本的类别。

支持向量机

SVM可通过升维来解决在低维中线性不可分的问题，旨在找到一个超平面(Hyperlane)作为线性决策边界(decision boundry),最大化分类边界，将特征空间中的数据更好的分隔开。SVM有着优秀的泛化能力，但更适用于小样本训练，因为svm对于内存消耗很大。若数据量很大，训练时间会较长。且SVM在小样本上能够得到比其他算法好很多的结果。

KNN

K近邻是基于实例的分类(instance-based learning) ，属于惰性学习 (lazy learning) 。比如在现实中，预测某一个房子的价格，就参考最相似的K个房子的价格，比如距离最近、户型最相似等等。KNN没有明显的训练学习过程，不同K值的选择都会对KNN算法的结果造成重大影响。如下图所示，k=1与k=3预测的类别是不同的。我觉得在手势识别方面比较适用这钟算法但是这样的算法没有优点
缺点：
1、计算量太大。
2、对于样本分类不均衡的问题，会产生误判。
引例：下面图片中只有三种豆，有三个豆是未知的种类，如何判定他们的种类？

最简单的想法是：未知的豆离哪种豆最近就认为未知豆和该豆是同一种类。
由此，我们引出最近邻算法的定义：为了判定未知样本的类别，以全部训练样本作为代表点，计算未知样本与所有训练样本的距离，并以最近邻者的类别作为决策未知样本类别的唯一依据。

K-means算法

根据上表，结合上面对knn算法的了解，我们能发现，K-means算法又明显的前期训练过程（手势识别进行训练模式）；为给他的数据集是无lable的数据，是杂乱无章的，经过聚类后才变得有点顺序，先无序，再有序。这样在进行手势识别训练模式时，进行的训练是无章的
K-means算发相对于KNN算法可以减少计算量，但不能减少存储量。

集成学习

- Bagging
Bagging这个名字是Boostrap AGGregatING缩写而来的，是并行式集成学习方法的最著名代表。
    - Random Forest (随机森林)

随机森林是一个包含多个决策树的分类器，其输出的类别是由各个子树数据类别的众数（majority voting）决定的。当你不知道该用什么算法来处理分类的时候，随机森林都是一个作为尝试的不错的选择。不知道采用这个算法有没有用。。。