【机器学习】day1: 机器学习介绍（李宏毅）

机器学习所做的事情，你可以想成就是在寻找一个function，要让机器具有一个能力，这种能力是根据你提供给他的资料，它去寻找出我们要寻找的function。还有很多关键问题都可以想成是我们就是需要一个function。

1. 机器学习分为三个步骤：

第一个步骤是找一个function，
第二个步骤是让机器可以衡量一个function是好还是坏，
第三个步骤是让机器有一个自动的方法或者是有一个好的演算方法可以找出最好的function。

2. 机器学习的任务除了回归和分类还有结构化学习，它们都属于监督学习。

在Regression中机器输出的是一个数值，在Classification里面机器输出的是类别。

回归：PM2.5的预测
比如说预测明天上午的PM2.5，也就是说你要找一个function，这个function的输出是未来某一个时间PM2.5的一个数值，这个是一个regression的问题。

机器要判断function明天上午的PM2.5输出，你要提供给它一些资讯，它才能够猜出明天上午的PM2.5。你给他资讯可能是今天上的PM2.5、昨天上午的PM2.5等等。这是一个function，它吃我们给它过去PM2.5的资料，它输出的是预测未来的PM2.5。

二分类：鉴别垃圾邮件
那怎么做到这件事呢？其实就是需要一个function，它的输入是一个邮件，输出为邮件是否为垃圾邮件。

多分类：文章分类
现在网络上有非常非非常多的新闻，也许没有人会把所有的新闻看完，但希望机器自动帮一把新闻做分类。怎么做呢？你需要的是一个function，它的输入是一则新闻，输出是新闻属于哪个类别，你要做的事情就是解这个选择题。

3. 机器学习中相关的技术包括：监督学习、半监督学习、迁移学习、无监督学习、强化学习。

（1）监督学习

刚才我们讲的都是supervised learning（监督学习），监督学习的问题是我们需要大量的training data。training data告诉我们要找的function的input和output之间的关系。如果我们在监督学习下进行学习，我们需要告诉机器function的input和output是什么。这个output往往没有办法用很自然的方式取得，需要人工的力量把它标注出来，这些function的output叫做label。

（2）半监督学习

在监督学习的基础上减少label需要的量就是半监督学习。

（3）迁移学习

另外一个减少data用量的方向是迁移学习。

迁移学习的意思是：我们先学习猫和狗的分类问题，然后使用学习到的function去做其他任务，比如其他动物的图片分类或者动画图片（凉宫春日，御坂美琴）的分类，其他任务中的data中可能有label也可能没有label。

（4）无监督学习

就是我们希望机器可以学到无师自通

监督学习即没有标注的训练数据集，需要根据样本间的统计规律对样本集进行分析，常见任务如聚类等。
聚类：把相似的东西聚在一起，而我们并不关心这一类是什么

（5）强化学习

强化学习是一类算法，是让计算机实现从一开始完全随机的进行操作，通过不断地尝试，从错误中学习，最后找到规律，学会了达到目的的方法。这就是一个完整的强化学习过程。让计算机在不断的尝试中更新自己的行为，从而一步步学习如何操自己的行为得到高分。

它主要包含四个元素，Agent、环境状态、行动、奖励，强化学习的目标就是获得最多的累计奖励。
让我们想象一下比赛现成：

计算机有一位虚拟的裁判，这个裁判他不会告诉你如何行动，如何做决定，他为你做的事只有给你的行为打分，最开始，计算机完全不知道该怎么做，行为完全是随机的，那计算机应该以什么形式学习这些现有的资源，或者说怎么样只从分数中学习到我应该怎样做决定呢？很简单，只需要记住那些高分，低分对应的行为，下次用同样的行为拿高分, 并避免低分的行为.

计算机就是 Agent，他试图通过采取行动来操纵环境，并且从一个状态转变到另一个状态，当他完成任务时给高分(奖励)，但是当他没完成任务时，给低分(无奖励)。这也是强化学习的核心思想。所以强化学习具有分数导向性。

我们换一个角度来思考.这种分数导向性好比我们在监督学习中的正确标签。

4. 监督学习中的结构化学习使用的场景包括：语音识别、机器翻译、人脸识别。

structured learning 中让机器输出的是要有结构性的，举例来说：在语音辨识里面，机器输入是声音讯号，输出是一个句子。句子是要很多词汇拼凑完成。它是一个有结构性的object。或者是说在机器翻译里面你说一句话，你输入中文希望机器翻成英文，它的输出也是有结构性的。或者你今天要做的是人脸辨识，来给机器看张图片，它会知道说最左边是长门，中间是凉宫春日，右边是宝玖瑠。然后机器要把这些东西标出来，这也是一个structure learning问题。

5. 总结

注：不同的方块，用不同的颜色来表示。同样的颜色不同的方块是同一个类型的。这边的蓝色的方块，指的是学习的情景，通常学习的情景是你没有办法控制的。比如，因为我们没有data做监督学习，所以我们才做reinforcement learning。现在因为Alpha Go比较火，所以Alpha Go中用到的reinforcement learning会被认为比较潮。所以说有学生去面试，说明自己是做监督学习的，就会被质疑为什么不做reinforcement learning。那这个时候你就应该和他说，如果我今天可以监督学习，其实就不应该做reinforcement learning。reinforcement learning就是我们没有办法做监督学习的时候，我们才做reinforcement learning。红色的是指你的task，你要解的问题，你要解的这个问题随着你用的方程的不同，有regression、有classification、有structured。所以在不同的情境下，都有可能要解这个task。最后，在这些不同task里面有不同的model，用绿色的方块表示。

6. 参考

视频：https://www.bilibili.com/video/BV1Ht411g7Ef?p=2
笔记：https://datawhalechina.github.io/leeml-notes