深度学习（花书）笔记2——（无）监督学习算法介绍

       机器学习算法可以分为监督学习算法和无监督学习算法。

1.监督学习

       监督学习算法是给定一组输入 x 和输出 y 的训练集，学习如何关联输入x和输出y。在许多时候，输出y很难自动收集，必须由人来提供‘监督’。在目标检测领域而言，训练集中的输出y都是采用人为标注的方式生成。如下图所示，在这张图片中有着很多物体，如人、自行车以及轿车等等；这些物体可以认为是输入x，众所周知，训练一个目标检测算法光有输入x远远不够，还需要有与该物体对应的标签，也就是输出y，只有同时拥有输入x和输出y才能训练自己的目标检测算法。

1.1 监督算法分类

       常见的监督学习算法有概率监督学习、支持向量机、最近邻回归和决策树。

        支持向量机 （ support vector machine, SVM ）是监督学习中最有影响力的方法之一。类似于逻辑回归，这个模型也是基于线性函数 w ⊤ x + b 的。不同于逻辑回归的是，支持向量机不输出概率，只输出类别。当 w ⊤ x + b 为正时，支持向量机预测属于正类。类似地，当 w ⊤ x + b 为负时，支持向量机预测属于负类。

        最近邻回归：k—最近邻是用于分类和回归的一种技术。适用于任何类型可以确定输出y平均值的监督学习算法。

        决策树：是一种将输入空间分成不同的区域，每个区域有独立参数的算法。

        如上图所示，可以简单的从中间无数字的节点作为中心线将其分为两部分，可以看出每个节点的信息都传入左右两个节点。内部的节点用圆圈表示，叶节点用方块表示。每一个节点可以用一个二值的字符串识别并对应树中的位置，这个字符串是通过给起父亲节点的字符串添加一个位元来实现的，用节点0举例，左传则叶节点为00，右传则叶节点为01，以此类推。

2. 无监督学习

       通俗地说，无监督学习的大多数尝试是指从不需要人为注释的样本的分布中抽取信息。如果有一天真的把目标检测算法变为一种无监督学习算法，也就是说训练一个目标检测网络不再需要输出y（目标物体的类别以及位置信息），不需要人为的去标注目标物体的类别以及位置信息，那将大大提升目标检测网络的训练时间。

       一种常见的无监督学习算法是k—均值聚类算法。 k-均值聚类算法将训练集分成 k个靠近彼此的不同样本聚类。 k-均值聚类初始化 k 个不同的中心点 { µ (1) , . . . , µ( k) }，然后迭代交换两个不同的步骤直到收敛。步骤一，每个训练样本分配到最近的中心点 µ( i) 所代表的聚类 i。步骤二，每一个中心点 µ( i) 更新为聚类 i 中所有训练样本 x( j) 的均值。

2.2 无监督学习分类

       

        常见的几种无监督学习有主成分分析（PCA）、高斯混合模型和流形学习算法（Isomap）。