连载 | 机器学习基石 Lec 3: 机器学习的种类

Lec 3：Types of Learning

上一节主要介绍了PLA，PLA是binary classification，二元分类问题是机器学习中非常核心基本的问题。

这节主要介绍机器学习的各种types～相信每一个知道机器学习的人都有所了解，所以写的较简略～^_^～

---

1，根据“输出空间”Output space分类

1）classification分类：binary 二元；Multiclass多元，输出是类别

2）regression回归：输出是“数值”

3）Structured Learning结构学习：例如句子结构、蛋白质立体结构

and more！

2，根据“数据标记”Data label情况分类

Supervised监督学习：每个xn都对应一个yn。是最核心的一种学习，也是本门课的重点。

unsupervised非监督学习：只有xn，没有yn，如:clustering聚类，可应用在文章按主题分群、异常检测

semi-supervised半监督学习：部分xn有对应的yn，如人脸识别、药效预测。特点是获得yn的成本高或困难

reinforcement增强学习：nature way to learn，如教给狗sit down，如果发出sit down指令，狗没有坐下就惩罚它，做的good(不一定是对的那个yn，是你满意的就可以)就奖励它。如训练一个广告系统、棋牌类游戏

and more！

3，根据Protocol分类

batch learning:成批喂data给machine，填鸭式学习。最核心常用的，也是本门课着重点。

online learning:一笔一笔的喂data，如PLA，增强学习。希望随着xn一笔一笔的到来，每一轮都修正g，g越来越好

batch和online从机器的角度看都是被动的passive，还有一种新兴的学习方式:

active:机器主动问问题，有了xn，询问yn是什么？如文本识别。通常用在取得yn贵或难的情况

4，根据“输入空间”Input space分类

concrete features:具体的data，通常带有人类的domain knowledge。如数字识别，把是否对称以及密度作为x=(symmetry，density)。

raw features:数字识别中像素点可以叫做raw features，经常需要机器或人将其转化为concrete features，如机器学习技法课中的deep learning可以extract features

abstract features:抽象的data，如x只包含用户的编号，y是这个用户对某个歌曲的评分，这时需要机器自己学到features。越抽象机器需要花费越多的力气学习。