深度学习笔记1-model大致分类

前言

笔者主要在学习李宏毅老师的深度学习课程，有兴趣的童鞋可以去看看，讲的十分详细，课堂也很幽默。本文仅为学习时的一些个人的学习笔记，如有不当请指正。 本文主要对深度学习的一些基本概念进行概述，对整体有一个较为全局的认识。

---

一、Supervised learning（监督学习）

1. 什么是监督学习？

监督模型之的是，学习一个模型，使模型能够对任意给定的输入，对其相应的输出做一个好的预测。用户将成对的输入和输出数据提供给算法，通过这些准备好的data set，算法从中function set找到一个最优的function，通过这个function就可以根据给定输入给出预期输出，这就是监督学习的过程。

简而言之，supervised learning需要大量的training data，这些training data可以帮助我们找到我们需要的function。但是，这些training data通常是通过人工标注出来的，相对比较麻烦。

2. 监督学习的两个大分类

（1）Regression（回归）

Regression 就是找到一个函数 function，通过输入特征 x ，输出一个数值 Scalar 。
比如希望通过Regression预测未来的股市。那么training_data就是过去股票的资料（过去10年股票的变动、新闻咨询、公司并购咨询等），而output就是对未来股价的预测数值。

（2）Classification（分类）

Classification与Regression的区别是，在Regression中，output是一个scalar，而在Classification中，又分为以下两类。

Binary Classification（二元分类）

在Binary Classification，我们需要机器输出的是True or False。
如给machine一张图片，区分是不是dog，machine返回是或不是。

Muti-class Classification（多元分类）

在Muti-class Classification中，machine相当于要做选择题，每个选项就是一个类别，需要从多个类别里选择正确的类别
比如给machine一张图片，区分是什么动物。

3.Model（function set）选择模型

在解决一个实际问题时，我们需要确定一个function set，之后machine 才能够通过training data找出最优的function。
常见的一些模型有以下一些。

（1）Linear model(线性模型)

最简单的模型
Linear model顾名思义，其拟合的函数曲线是一条直线。而机器学习简单来说就是通过所给的样本值来拟合这样一条曲线。

（2）Non-linear model（非线性模型）

1. Deep learning（深度学习）
2. SVM（支持向量机）
3. Decision tree（决策树）
4. K-NN（k近邻算法）

二、Semi-supervised Learning(半监督学习)

Semi-supervised Learning是Supervised Learning与Unsupervised Learning结合的一种学习方法。Semi-supervised Learning使用大量的未标记数据，同时也使用部分标记数据，来进行模式识别工作。当使用Semi-supervised Learning时，可以减轻数据标注工作的压力。

三、 Transfer Learning（迁移学习）

人们可以依靠过去的经验，开始一段崭新的事业。Machine can also do it.
Transfer Learning 就是把已学训练好的模型迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务是存在相关性的，所以通过迁移学习我们可以将模型已经学到的知识通过某种方式来分享给新模型。Machine就不必从零开始，从头学习了。

四、Unsupervised Learning（无监督学习）

在现实的生产中，我们往往缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。因此，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。

五、 Structured Learning（结构化学习）

在Structured learning中，我们要machine输出的是一个具有结构性的东西。相比于分类问题希望machine输出一个选项，Structured learning希望机器输出一个复杂的ouput。
举例来说，在语音识别的情景下，input是一个声音信号，ouput是一个句子，句子由很多词汇组成。

六、 Reinforcement Learning（强化学习）

在Supervised Learning中，我们通过标注数据集，告诉了machine正确答案是什么，就仿佛我们在手把手的教机器做每一件事情。但在Reinforcfement Learning中，我们并不告诉machine正确答案是什么，machine最终得到的只有一个分数来评判它做的好不好，但它并不知道自己到底哪里做的不好，它也没有正确答案。它要通过自己的“反思”来自己进行优化。
如同在现实社会中我们的学习，很多事情我们并不知道一个准确的答案。事件发生之后，我们通过事件的结果知道自己做的是好还是不好，但并没有人指导我们当时哪一步做的不对，哪一步应该怎们做。只能靠我们自己进行反思，总结经验以期待以后做的更好。
举一个训练聊天机器人的例子。让它和客人进行对话，如果客人勃然大怒挂断了电话，那machine就学到了一件事情，刚刚自己做错了。但是它不知道自己错哪里，也没人会告诉它。只能machine自己去反省检讨应该如何改进，比如不应该用‘TMD’来问候对方，一开始需要打招呼之类的。

总结

我们知道，机器学习简单来说可以分为三步走。

确定一个模型/函数集合

定义损失函数Loss来评价模型好坏

选择最好的函数

本文笼统的介绍Step1中的function_set有大致分为哪一些种类，希望能够帮助到大家。