机器学习任务的分类

一、机器学习任务的分类

1. 四个机器学习的任务

1. 教计算机下棋；
2. 垃圾邮件识别，教计算机自动识别某个邮件是不是垃圾邮件；
3. 人脸识别，教计算机通过人脸的图像识别这个人是谁；
4. 无人驾驶，教计算机自动驾驶汽车从一个指定地点到另一个指定地点。

2. 以上四个机器学习的任务哪两个是一类，哪两个又是另一类呢？划分的标准是什么？

（1）划分的标准是经验E；

a. 2, 3是一类机器学习任务：监督学习（Supervised Learning）

在 2.垃圾邮件和 3.人脸识别中，经验完全由人收集起来输入
进计算机的；
例如 2（垃圾邮件识别）中我们需要很多的垃圾邮件和非垃
圾邮件，同时对每一封邮件我们要告诉计算机这是垃
圾邮件还是非垃圾邮件

例如 3 （人脸识别）中，我们要搜集很多张人脸的图片，同时我们要告诉计算机每一张人脸图片是
谁，我们把告诉计算机每一个训练样本是什么的过程，叫作为训练数据打标签（Labeling for 
training data）

所以经验E 就是 训练样本和标签的集合
但是为数据打标签需要繁琐的人工，
例如现代的人脸识别系统，需要数千万张带有标签的人脸图片，这经常会耗费上
万个小时的时间，因此今年来，随着人工智能的发展，为数据打标签成了一个独
特的产业。
总结：2， 3是同一类机器学习的任务，共同特点：
所有的经验E都是人工采集并输入计算机的，我们将这一类输入计算机训练的数据，
并且同时加上标签的机器学习，称为监督学习（Supervised Learning）

b. 1, 4是一类机器学习的任务：强化学习(Reinforcement Learning)

任务 1，计算机下棋和任务 4，自动驾驶属于一类，经验E是由计算机和环境相
互互动获得的：
计算机产生行为，同时获得这个行文产生的结果，而程序只需要定义这些行为的
收益函数（Reward function）【对行为进行“奖励与惩罚”】
例如：在计算机下棋这个任务中，下赢了我们就奖励，输了就惩罚，等等；
同时我们需要改变算法让计算机自动地改变自己的行为模式去最大化收益函数，
完成机器学习的过程。
将这一类机器学习的任务称为强化学习(Reinforcement Learning)即让计算机
通过与环境的互动逐渐强化自己的行为模式。

（2）总结：监督学习与强化学习

按照任务性质的不同，机器学习算法可以分为监督学习和强化学习两类，
但这样的划分并不绝对，现在的强化学习中也用到了监督学习的方法，
例如：在计算机下围棋的程序alphago中，这是典型的强化学习的任务，
但是，最初AlphaGo的训练却用到了网络上高手的对局，进行监督学习，
首先进行监督学习获得了一个还不错的初始围棋程序，然后再对这个初始围棋程序
进行强化学习，提升棋力，这就是一个监督学习和强化学习结合的典型例子。

3.监督学习

监督学习可以根据数据标签存在与否进行分类：
（1）传统的监督学习（Traditional Supervised Learning）；
（2）非监督学习（Unsupervised Learning）;
（3）半监督学习（Semi-supervised Learning）。

（1）传统的监督学习（Traditional Supervised Learning）

a. 定义：

• 每一个训练数据都有对应的标签

b. 在传统的监督学习中会学到的算法：

• 支持向量机（SUPPORT VECTOR MACHINE）
• 人工神经网络（NEURAL NETWORKS）
• 深度神经网络（Deep Neural Networks）
• 等等

（2）非监督学习（Unsupervised Learning）

a. 定义：

• 所有的训练数据都没有对应的标签；

b. 为什么我们可以通过没有标签的训练数据获得类别信息呢？

• 例子：
  

在左边的图像中标注了训练样本在空间中的分布，左边的是传统的监督学习的问题，
其中圆圈代表一类，x代表另一类；
但是在右边的图像中，我们假设有这些训练数据，但不知道这些训练数据的类别标签。
如果是这样我们怎么进行分类呢？
我们需要假设：同一类的训练数据在空间中距离更近，这样我们就可以根据样本
的空间信息，设计算法将它们聚焦为两类，从而实现没有 标签的机器学习，即
无监督学习（Unsupervised Learning）

C . 在非监督学习中会学到的算法：

• 聚类（Clustering）
• EM算法（Expectation-Maximization algorithm）
• 主成成分分析（Principle Component Analysis）
• 等等

（3）半监督学习（Semi-Supervised Learning）

a. 定义：

• 训练数据中一部分有标签，一部分没有标签

随着互联网技术的普及，网络中存在大量的数据，但是另一方面标注数据却是成本巨大的工作，
因此研究用少量的标注数据，和大量未标注的数据，一起训练一个更好的机器学习算法，成为机器学
习领域的热点之一

b.半监督学习的例子

在左边的图中，只有两个标注过的训练样本，我们并不知道如何进行分类，但是如果我们增加一些没
有标签的训练样本，如右图所示，那么我们可能设计算法更准确地实现分类。

4.另一种分类方法是基于标签的固有属性可以将监督学习分为两类：分类（Classification）与回归（Regression）

（1）监督学习：分类（Classification）

a. 定义：

如果标签是离散的值，我们称为分类

b.例如：

例如：人脸识别就是分类问题，人脸识别的任务有两种模式；
模式1：识别两张人脸是不是同一个人，我们可以把同一个人的标签记为1，
把不是同一个人的标签记为0，
标签是离散的（0和1）数值，这是一个分类问题；
模式2：识别一张人脸是一堆人脸中的哪一个，假设总共有n
个人，那么某一张特定图片的标签可以定义为1，2，3...
直到n,标签也是离散数值，这也是一个分类的问题

（2）监督学习：回归（Regression）

a.定义：

标签是连续的值，我们称为回归

b.例如：

我们设计算法预测房价的走势，在这里我们的训练样本是2014
年到2015年上海的房价，这里训练样本是时间，标签是平均的
房价，由于房价是一个连续的变量，所以这就是一个回归的问题；
同理，预测股票价格，预测温度，预测人的年龄等任务也是回归的问题。

（3）但是其实分类和回归的界限非常模糊，因为连续和离散的定义也是可以相互转换的

一个解决分类问题的机器学习模型稍微加以改造，就可以解决回归问题，反之亦然。 

5. 总结

介绍机器学习的分类
1.按照任务是否需要和环境交互获得经验，将机器学习分为
监督学习和强化学习；
2.对监督学习进行了更细致的分类：
（1）首先，按照训练数据是否存在标签，将监督学习分为
传统的监督学习，非监督学习和半监督学习；
（2）其次，按照标签是连续还是离散，将监督学习分为分类
问题和回归问题