深度学习之美——算法的分类

机器学习大致可分为三大类：监督学习、半监督学习、非监督学习

监督学习

所有的监督学习基本上是“分类”的代名词，它从有标签的训练数据中学习模型，然后给定某个新数据，利用模型预测新数据的标签。这里的标签，即使就是某个事物的分类。

根据已知数据集做训练，对未知数据集合做分类

所谓监督学习，就是先用训练数据集合学习得到一个模型，然后再使用这个模型对新样本进行预测。

监督学习的基本流程

监督学习的分类

监督学习大体可分为回归分析和分类学习

回归问题的学习，在某种程度上，等价于函数的拟合，即选择一条函数曲线，使其能很好地拟合已知数据，并较好地预测未知的数据

分类学习算法比较多，著名的有k-近邻（kNN）、支持向量机（SVM）、朴素贝叶斯分类器、决策树、BP方向传播算法

k-近邻算法 

给定某个待分类的测试样本，基于某种距离度量，在训练集合中找到与之距离最近的k个训练样本。然后基于这k个最近的“邻居”，进行预测分类。在分类学习中，预测策略通常采取的是多数表决的“投票法”，即将这k个样本中出现最多的类别，标记为最终的结果。在回归任务中，预测策略多采用“平均值”法，将这k个样本标记的平均值作为预测结果。

kNN是一种基于实例的学习，也是懒惰学习的典型代表，懒惰学习在训练阶段仅仅将样本保存起来。

kNN的不足之处：“多数表决”会在类别分布偏斜时浮现缺陷，也就是说，k的选取很重要；“少数服从多数”原则也容易产生“多数人暴政”的问题，“多数”可能恰恰是平庸的多数，而精英永远是少数，kNN算法简单地实行“众点平等”的“少数服从多数”原则，可能将新数据的类别归属误判，补救方法是越靠近数据点的投票权重越高；距离计算方式也会影响分类结果。

非监督学习

非监督学习，本质上是“聚类”的近义词

给定N个对象，将其分成K个子集，使得每个子集内的对象相似，不同子集之间的对象不相似。

聚类指的是，将物理或抽象对象的集合分成由类似对象组成的多个类的过程。聚类的关键是如何度量对象间的相似性。

聚类分析通常分四步走，即数据表示、聚类判据、聚类算法和聚类评估。聚类判据是确定聚类搜索的方向。

K均值聚类算法

k均值聚类的目的在于，给定一个期望的聚类个数K，和包括N个数据对象的数据集合，将其划分为满足距离方差最小的K个类。

K均值算法的基本流程：首先选取K个点作为初始K个簇的中心，然后将其余的数据对象按照距离簇中心最近的原则，分配到不同的簇。当所有的点都划分到一个簇之后，再依据每个簇类对象的均值对簇中心进行更新，计算每个对象到簇中心对象距离的最小值。按照上需步骤，循环迭代，直到满足一定条件才停止计算。

K均值聚类算法的优缺点：（1）K值需要用户事先给出；（2）聚类质量对初始聚类中心的选取有很强的依赖性；（3）对噪声点比较敏感，聚类结果容易受噪声点的影响；（4）常采用欧氏距离来度量不同点之间的距离，这样只能发现数据点分布较均匀的球形簇。

半监督学习

半监督学习就是以“已知之认知（标签化的分类信息）”，扩大“未知之领域（通过聚类思想将未知事物归类为已知事物）”。这里隐含了一个基本假设——聚类假设，其核心要义是：相似的样本，拥有相似的输出。

半监督学习既用到了监督学习的先验知识，也吸纳了非监督学习的聚类思想，二者兼顾。

强化学习

强化学习强调的是，在一系列的情景之下，选择最佳决策，它讲究通过多步恰当的决策，来逼近一个最优的目标，因此，它是一个多步决策的问题。

阿尔法元从零开始，完全靠强化学习来参悟。阿尔法元远比阿尔法狗强大，因为它不再被人类的知识所局限，而是能够发现新知识、新策略。

强化学习也使用未标记的数据，它可以通过某种方法（奖惩函数）知道你是离答案越来越近，还是越来越远。

机器学习的流派

连接主义：主要代表形式是人工神经网络

行为主义：代表形式是强化学习

符号主义：代表形式是专家系统和知识图谱

从三大流派处理的对象来看，好像存在某种递进关系：数据——》信息——》知识