2020李宏毅学习笔记——1.概论

即将学习内容分布：

一、机器学习的本质就是自动寻找函式，如语音识别，就是让机器找一个函数，输入是声音信号，输出是对应的文字。如下棋，就是让机器找一个函数，输入是当前棋盘上黑子白子的位置，输出是下一步应该落子何处。
例如

二、寻找什么样子的函数式
1.regression（回归）： 输出是数值。如房价、PM2.5预测。
The output of the function is a scalar.:函数的输出是一个数值
例如：

2.classfication（分类）：输出只有两种可能，正面或负面。
1）Binary Classification(二元分类):

2）multi-class Classification(多层次分类):
输出当前输入属于既定N个类别的概率值，并将N个概率值中最大者所对应的类别作为正确答案。

3. generation（生成)：
   产生有结构的复杂东西 (例如：文句、图片),翻译，画图
   

三、怎么告诉机器 想找什么样的函数式

1. supervised learning (有监督学习)：labelled data
   如果期望机器对每一次输入都给出理想的答案，就涉及监督学习，其中分类和回归都属于监督学习。监督学习在训练时不仅需要给机器数据，同时还要给标签（label），标签即期望的正确答案，如下图（引自课程演示文稿），其中x即输入图片，y即标签。监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。监督学习算法是分析该训练数据，并产生一个推断的功能，其可以用于映射出新的实例。
   1.1函数式的Loss：机器会自动找出loss最低的函数
   预测结果的出错率。
   损失函数（loss function）用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。
2. unsupervised learning(无监督学习)：What can machine learn
   from unlabeled images?
   现实生活中常常会有这样的问题：缺乏足够的先验知识，因此难以人工标注类别或进行人工类别标注的成本太高。很自然地，我们希望计算机能代我们完成这些工作，或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题，称之为无监督学习。
3. reinforcement learning（强化学习）:
   属于无监督学习。强化学习（Reinforcement Learning, RL），又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题
   Alpha Go is supervised learning + reinforcement learning.
4. transfer learning:
   迁移学习，训练数据跟测试数据的类型不一样的，例如以黑白图片训练识别数字，测试时使用了彩色图片，如何使机器也能输出正确的结果
5. meta learning：
   元学习是让机器学会学习，即让机器具备学习的能力。李宏毅老师的解释是：以往机器之所以能获得某项技能，是人为其设计了演算法则，并通过大量训练让机器具备了那种能力。元学习旨在让机器面对一项任务时，能够自己发明比人为设计更优的演算法则，而我们需要做的只赋予机器学习的能力（有点抽象，后面学习了再完善此处的叙述）。另外，之所以要进行元学习，是因为现在人为设计的算法都很“笨”，人们希望它能聪明一点。如下图（引自LakeEtAlBBS）的一个小游戏结果，达到相同的分数，机器通过强化学习需要900小时（换成现实时间了的，不是机器运行时间），而人只需要两小时，这有可能是因为人为设计的算法不够有效率。

7.life-long learning（continous learning）：
终身学习，不停学习

8.anomaly detection (异常检测)：
对不匹配预期模式或数据集中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成银行欺诈、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。

四、机器怎么找出你想要的函数式
1.限制函数式寻找范围：RNN和CNN
目前的机器学习，不是要求机器凭空的产生一个较优的函数，而是给机器一个函数结构（特定函数集合），让其去学出一组较优参数。然后机器通过这组参数所决定的函数，就可以较好的完成给定任务。SVM、线性函数、CNN和RNN等都是函数结构，函数结构决定了机器所能的搜寻的函数的范围。下图是CNN的一种经典结构。

2.给定函数式的寻找方法——Gradient Descent （梯度下降）
获取最佳函数典型方法-梯度下降（gradient decent）
我们希望模型（为了和其他函数区别，此处用模型代替）最佳，就是希望其损失函数（loss function）最小。梯度方向是函数值变化最快的方向，一个多元函数对其各个变量求梯度，可以确定各个变量的变化对函数值变化的贡献，并且确定各个变量应该怎样变化，才能使函数值以最快的速率减小到最小值。我们根据当前损失函数值，就可以计算出当前损失函数对于各个变量的梯度值，然后朝着可以让损失函数值减小的方向更新各个变量的值，就可以实现梯度下降了（梯度值中包含了更新的幅度和方向信息）。减小损失函数值 ，就是在优化模型。